跳到正文

#模型发布

今日 3 条
3月12日周三
  1. Hugging Face Blog67

    Open R1 更新第三期:发布 OlympicCoder 7B/32B 代码模型与 IOI 基准

    Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。

    推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。

3月4日周二
  1. Hugging Face Blog62

    Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型

    Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型,包含 8B 和 32B 两个版本,覆盖 23 种语言。32B 版本在 AyaVisionBench 和 mWildVision 的成对比较中,对 Llama-3.2 90B Vision、Molmo 72B、Qwen2.5-VL 72B 等参数量超过自身两倍的模型取得 50% 至 64% 的胜率。

    推荐理由:原文给出 8B 与 32B 两个开源权重的多语言视觉语言模型及训练细节,读者可据此判断小参数模型在多语言多模态上的位置。

2月27日周四
  1. OpenAI News75

    OpenAI 发布 GPT-4.5 系统卡

    OpenAI 发布 GPT-4.5 系统卡,并推出该模型的研究预览版本。OpenAI 称 GPT-4.5 是其目前规模最大、知识最丰富的模型。

    推荐理由:OpenAI 公布 GPT-4.5 系统卡,读者可据此了解这一研究预览版本的定位与规模。

2月21日周五
  1. Hugging Face Blog62

    Google 发布 SigLIP 2 多语言视觉语言编码器

    Google 发布 SigLIP 2 系列多语言视觉语言编码器,在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标,在零样本分类、图文检索和视觉表征迁移上均优于旧版 SigLIP。

    推荐理由:梳理 SigLIP 2 相比前代新增的训练目标与 naflex 动态分辨率变体,便于判断视觉编码器的选型。

2月20日周四
2月19日周三
  1. Hugging Face Blog42

    Google 发布 PaliGemma 2 Mix 指令视觉语言模型

    Google 发布 PaliGemma 2 Mix,这是基于 SigLIP 和 Gemma 2 的 PaliGemma 2 视觉语言模型系列中经过多任务混合微调的版本,覆盖 OCR、长短描述、视觉问答、目标检测和图像分割等任务。模型提供 3B、10B、28B 三种参数规模和 224、448、896 三种分辨率,支持 HF Transformers 与 JAX 框架,并已上线演示。

2月17日周一
  1. Mistral AI62

    Mistral 发布首个区域语言模型 Mistral Saba

    Mistral AI 发布 Mistral Saba,这是其首个专门针对区域语言的模型,拥有 24B 参数,基于中东和南亚精心整理的数据集训练。该模型在阿拉伯语和泰米尔语等南印度语言上表现突出,响应速度超过 150 tokens/秒,可在单 GPU 系统上本地部署,并提供 API 访问。

    推荐理由:Mistral 推出首个区域语言模型,24B 参数可在单 GPU 本地部署,为中东和南亚市场提供定制化选择。

1月31日周五
  1. OpenAI News62

    OpenAI 发布 o3-mini 系统卡

    OpenAI 发布 o3-mini 系统卡,说明该模型的安全工作,包括安全评估、外部红队测试和 Preparedness Framework 评测。

    推荐理由:官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围,可了解其安全流程。

1月30日周四
1月23日周四
  1. Hugging Face Blog62

    SmolVLM 推出 256M 与 500M 两个更小尺寸模型

    Hugging Face 发布 SmolVLM-256M 和 SmolVLM-500M 两款视觉语言模型,其中 256M 被称为全球最小的 VLM,共提供两个 base 和两个指令微调共四个 checkpoint。

    推荐理由:SmolVLM 家族新增 256M 与 500M 两个小尺寸多模态模型,读者可据此了解小模型在视觉语言任务上的取舍与部署方式。

1月13日周一
  1. Mistral AI62

    Mistral AI 发布 Codestral 25.01 代码模型

    Mistral AI 发布 Codestral 25.01,采用更高效的架构和改进的 tokenizer,代码生成与补全速度约为原版 Codestral 的 2 倍,上下文长度 256k。

    推荐理由:Codestral 25.01 在 FIM 与多语言基准上给出与同量级模型的对比数据,可据此判断代码补全场景的选型。

1月10日周五
  1. Hugging Face Blog38

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型

    Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。

12月19日周四
  1. Hugging Face Blog66

    Answer.AI 与 LightOn 发布 ModernBERT,为 BERT 提供替代方案

    Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。

    推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。

12月18日周三
12月17日周二
  1. OpenAI News78

    OpenAI 发布 o1 模型及多项开发者工具更新

    OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。

    推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。

12月9日周一
  1. OpenAI News82

    OpenAI 视频生成模型 Sora 上线 sora.com

    OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合,也可完全由文本生成新内容。

    推荐理由:OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力,读者可据此判断可用范围。

  2. OpenAI News72

    OpenAI 发布 Sora 视频生成模型系统卡

    OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。

    推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。

12月5日周四
  1. Hugging Face Blog62

    Google 发布视觉语言模型 PaliGemma 2,提供 3B、10B、28B 三种规格

    Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器,文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种参数规格,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 仅有 3B 版本。

    推荐理由:Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率,可据此判断微调选型空间。

11月26日周二
11月18日周一
  1. Mistral AI78

    Mistral AI 发布 124B 开源多模态模型 Pixtral Large

    Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 1B 参数视觉编码器和 128K 上下文窗口,可容纳至少 30 张高分辨率图像。

    推荐理由:官方给出 Pixtral Large 在多项多模态基准上的对比数据与开放权重许可,读者可据此判断其与 GPT-4o、Gemini-1.5 Pro 的位置。

10月24日周四
  1. Hugging Face Blog62

    Cohere For AI 发布 Aya Expanse 多语言模型,公开完整后训练流程

    Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。

    推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。

10月16日周三
  1. Mistral AI66

    Mistral 发布 Ministral 3B 与 8B 端侧模型

    Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B,面向设备端与边缘计算场景。

    推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出定价与许可,可据此判断本地推理的选型空间。

9月25日周三
9月17日周二
  1. Mistral AI70

    Mistral AI 发布 Pixtral 12B 多模态模型

    Mistral AI 发布 Pixtral 12B,一个原生多模态模型,采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器,支持可变图像尺寸与宽高比,可在 128k token 上下文窗口中处理任意数量图像。

    推荐理由:官方给出 Pixtral 12B 的架构、基准与部署方式,可据此判断开源多模态模型在文档与图表任务上的位置。

9月12日周四
8月12日周一
  1. Hugging Face Blog62

    TII 发布 Falcon Mamba:首个强性能无注意力 7B 模型

    阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。

    推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。

7月31日周三
  1. Hugging Face Blog62

    Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope

    Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。

    推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。

7月24日周三
7月23日周二
7月18日周四
  1. Mistral AI75

    Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo

    Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。

    推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。

7月16日周二
  1. Mistral AI71

    Mistral 发布 Codestral Mamba 代码模型

    Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。

    推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。