Open R1 发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。
推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。
OpenAI 发布 deep research,一个利用推理综合大量在线信息、完成多步研究任务的智能体。该功能今日面向 Pro 用户开放,Plus 和 Team 用户随后可用。
推荐理由:OpenAI 官方发布 deep research 智能体,读者可据此了解其多步研究能力与首批开放范围。
Hugging Face 的 Open-R1 项目发布首周进展,已在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数,并搭建了公开评测排行榜。
推荐理由:Open-R1 一周进展汇总了复现 DeepSeek-R1 评测、GRPO 训练与合成数据生成的实测细节,可供关注开源复现路径的读者参考。
OpenAI 发布 o3-mini 模型,原文未提供更多细节。
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct,在 4x H100 上复现 DeepSeek R1 的 aha moment,450 步后解题成功率约 50%。
推荐理由:完整复现流程与训练观察,读者可据此理解 GRPO 如何让模型自发形成推理格式。
Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。
推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。
Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。
推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
阿布扎比技术创新研究院(TII)发布 Falcon3 开源模型家族,包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型,参数规模均在 100 亿以下。
推荐理由:Falcon3 系列覆盖 1B 到 10B 五款开源模型,给出了预训练、深度扩展与蒸馏的具体做法和基准对比。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),通过双向 tokenizer 转换,让目标模型与任意模型族的辅助模型配对,无需共享 tokenizer。
推荐理由:Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法,读者可了解无需同族小模型即可加速推理的思路与实测数据。
OpenAI 发布 o1 模型,原文页面标题为 Introducing OpenAI o1,正文内容未能抓取。
OpenAI 发布 o1-mini,官方将其定位为在推理能力上追求成本效率的模型。
Mistral AI 发布 Mistral Large 2,参数规模 123B,支持 128k 上下文窗口,可在单节点上实现大吞吐推理。
推荐理由:官方给出 123B 参数、128k 上下文与多项基准对比,可据此判断单节点部署的成本与性能取舍。
Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。
推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。
推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。
Mistral 发布开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅 39B 激活,以 Apache 2.0 许可开放。
推荐理由:官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现,可据此判断其成本效率定位。
Mistral 发布最新旗舰文本生成模型 Mistral Large,可通过 la Plateforme 和 Azure 使用,Azure 是其首个分发合作伙伴。
推荐理由:Mistral 同时发布旗舰模型与低延迟小模型,并首次通过 Azure 分发,读者可据此判断其产品线分层与商业路径。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家(SMoE)模型,同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由:Mistral 放出 Apache 2.0 的稀疏 MoE 权重,并给出与 Llama 2 70B、GPT3.5 的对比,便于判断开源模型的成本性能取舍。
Mistral 发布 Mixtral 8x7B,采用 Mixture of Experts 架构,在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5,以 Apache 2.0 许可开放。
推荐理由:Hugging Face 官方给出 Mixtral 在生态内的完整接入路径,读者可据此判断 MoE 模型的部署与微调成本。
Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。
推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。
阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。