跳到正文

推理能力

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

最新精选

第 61–80 条 · 共 85 条
2月11日周二
  1. Hugging Face Blog62

    Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。

    推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。

2月3日周一
  1. OpenAI News75

    OpenAI 发布 deep research 智能体

    OpenAI 发布 deep research,一个利用推理综合大量在线信息、完成多步研究任务的智能体。该功能今日面向 Pro 用户开放,Plus 和 Team 用户随后可用。

    推荐理由:OpenAI 官方发布 deep research 智能体,读者可据此了解其多步研究能力与首批开放范围。

2月2日周日
1月31日周五
1月28日周二
  1. Hugging Face Blog62

    Hugging Face 发起 Open-R1 项目,完整复现 DeepSeek-R1

    Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。

    推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。

12月19日周四
  1. Hugging Face Blog66

    Answer.AI 与 LightOn 发布 ModernBERT,为 BERT 提供替代方案

    Answer.AI 与 LightOn 联合发布 ModernBERT,一个编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 序列长度,可作为 BERT 类模型的直接替换。

    推荐理由:ModernBERT 把 LLM 时代的架构与训练经验搬回编码器,读者可据此判断 BERT 类模型在检索与代码场景的替换空间。

12月17日周二
10月29日周二
9月12日周四
7月24日周三
7月16日周二
  1. Mistral AI71

    Mistral 发布 Codestral Mamba 代码模型

    Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后在新架构上的又一步探索,可免费使用、修改和分发。该模型采用 Mamba 架构,具备线性时间推理和理论上可建模无限长序列的能力,在 256k tokens 的上下文检索能力上做了测试,Mistral 称其表现与基于 Transformer 的 SOTA 模型相当。

    推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试和多种部署路径,可据此判断非 Transformer 架构在代码场景的可用性。

7月11日周四
  1. Hugging Face Blog60

    NuminaMath 如何赢得首届 AIMO 进步奖

    Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调,先用数十万条 CoT 数据训练,再用约 6 万条工具集成推理数据训练,推理时采用 SC-TIR 解码,生成 N=48 个候选、深度 M=4 并做多数投票。

    推荐理由:获胜方案完整公开了数据构建、两阶段微调与 SC-TIR 解码细节,可迁移到其他推理任务。

4月17日周三
  1. Mistral AI80

    Mistral 发布开源模型 Mixtral 8x22B

    Mistral 发布开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅 39B 激活,以 Apache 2.0 许可开放。

    推荐理由:官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现,可据此判断其成本效率定位。

2月26日周一
12月11日周一
  1. Mistral AI88

    Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B

    Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家(SMoE)模型,同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。

    推荐理由:Mistral 放出 Apache 2.0 的稀疏 MoE 权重,并给出与 Llama 2 70B、GPT3.5 的对比,便于判断开源模型的成本性能取舍。

9月27日周三
  1. Mistral AI80

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B

    Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。

    推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。

6月5日周一
  1. Hugging Face Blog78

    Falcon 模型登陆 Hugging Face 生态

    阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。

    推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。