Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Hugging Face 发布多语言视觉文档检索嵌入模型 vdr-2b-multi-v1,可直接编码文档页面截图,无需 OCR 或分块即可跨语言检索。模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作训练,覆盖意大利语、西班牙语、英语、法语和德语,并同步开源含 50 万样本的 vdr-multilingual-train 数据集。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B,一个基于完全开放数据训练的混合 Mamba2 模型,在 vLLM 中相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。
推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与模型来源,可据此了解其能力边界。
Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器,文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种参数规格,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 仅有 3B 版本。
推荐理由:Google 新视觉语言模型给出 3B 到 28B 三种规格与三档分辨率,可据此判断微调选型空间。
Hugging Face 发布 SmolVLM 系列 2B 视觉语言模型,包含 Base、Synthetic 和 Instruct 三个版本,模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由:2B 视觉语言模型给出显存占用与吞吐对比,可据此判断端侧多模态部署的可行边界。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 1B 参数视觉编码器和 128K 上下文窗口,可容纳至少 30 张高分辨率图像。
推荐理由:官方给出 Pixtral Large 在多项多模态基准上的对比数据与开放权重许可,读者可据此判断其与 GPT-4o、Gemini-1.5 Pro 的位置。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B,面向设备端与边缘计算场景。
推荐理由:Mistral 在 7B 发布一周年推出两款端侧小模型,给出定价与许可,可据此判断本地推理的选型空间。
Meta 发布 Llama 3.2 系列共 10 个开放权重模型,包括 5 个多模态模型和 5 个纯文本模型,均已上线 Hugging Face。
推荐理由:Hugging Face 与 Meta 同步放出 10 个开放权重模型,并给出端侧运行与单卡微调的具体路径。
Mistral AI 发布 Pixtral 12B,一个原生多模态模型,采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器,支持可变图像尺寸与宽高比,可在 128k token 上下文窗口中处理任意数量图像。
推荐理由:官方给出 Pixtral 12B 的架构、基准与部署方式,可据此判断开源多模态模型在文档与图表任务上的位置。
OpenAI 发布 o1 模型,原文页面标题为 Introducing OpenAI o1,正文内容未能抓取。
OpenAI 发布 o1-mini,官方将其定位为在推理能力上追求成本效率的模型。
OpenAI 公布了 o1 模型的贡献者名单。o1 是 OpenAI 推出的推理模型系列。
Cognition 联合创始人兼 CEO Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编程决策。
经济学家 Tyler Cowen 解读 OpenAI o1 如何解答复杂的经济学问题。
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。
Google 在 Gemma 2 发布一个月后扩充模型家族,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版),适合端侧使用。同时发布 ShieldGemma 安全分类器系列(2B、9B、27B),用于过滤应用输入输出,以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由:Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具,读者可据此判断端侧部署与内容审核的可用组合。
Mistral AI 发布 Mistral Large 2,参数规模 123B,支持 128k 上下文窗口,可在单节点上实现大吞吐推理。
推荐理由:官方给出 123B 参数、128k 上下文与多项基准对比,可据此判断单节点部署的成本与性能取舍。
Meta 发布 Llama 3.1 系列,含 8B、70B、405B 三个尺寸的 base 与 instruct 版本,共 6 个开放权重模型,另发布 Llama Guard 3 和 Prompt Guard。
推荐理由:Hugging Face 官方给出 Llama 3.1 三个尺寸的显存、微调与量化配置,可据此估算部署成本。
OpenAI 发布 GPT-4o mini,定位为更具成本效益的智能模型。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。
推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B,在 MATH 上得分 56.6%、MMLU 上得分 63.47%,在同尺寸模型中达到 SOTA。
Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。
推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的取舍。
OpenAI 发布基于 GPT-4 的模型 CriticGPT,用于对 ChatGPT 的回复撰写批评意见,帮助人类训练员在 RLHF 过程中发现错误。
推荐理由:OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误,可用于理解 RLHF 环节的质量控制思路。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有预训练基础版和指令微调版,上下文长度 8K tokens,沿用可商用、可微调、可再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布专为专利与知识产权场景打造的嵌入模型 ParaEmbed 2.0,基于专家标注的多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
Mistral AI 发布首款代码模型 Codestral,这是一个 22B 开放权重生成式模型,支持 80 多种编程语言,上下文窗口为 32k。模型采用新的 Mistral AI Non-Production License,可在 Hugging Face 下载用于研究和测试,商用需联系获取许可。
推荐理由:Mistral 首款代码模型给出 22B 开放权重、32k 上下文和免费 API 端点,可据此判断其与既有代码模型的差异。
TII 发布第二代 Falcon 模型 Falcon 2,首发 11B 参数的基础语言模型和 11B 视觉语言模型(VLM),后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器,可对图像内容进行文本问答。
推荐理由:原文给出 Falcon 2 11B 的 LLM 与 VLM 两个版本、训练数据规模和评测对比,可据此判断小尺寸开源模型的能力位置。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:梳理了 PaliGemma 的三种权重类型、分辨率与精度选择,并给出 transformers 推理与微调的可复用代码。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可实时跨音频、视觉和文本进行推理。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,可实时跨音频、视觉和文本推理,读者可据此了解其多模态能力定位。
OpenAI 发布 GPT-4o,并在 ChatGPT 中把更多能力免费开放给用户。
推荐理由:OpenAI 发布 GPT-4o 并把更多能力免费开放给 ChatGPT 用户,可据此了解其模型与免费策略的同步变化。
OpenAI 发布最新旗舰模型 GPT-4o,同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新模型与面向免费用户的功能扩展。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,并首次把更多能力开放给 ChatGPT 免费用户。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由:StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval,读者可据此判断自生成数据能否替代 GPT-4 蒸馏。
Meta 发布 Llama 3 系列开源大模型,包含 8B 和 70B 两个尺寸,各有 base 与 instruct 版本,上下文长度 8K tokens,并新增基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由:Meta 发布 Llama 3 并同步给出 Hugging Face 全链路集成方式,读者可据此了解新模型规格与上手路径。