跳到正文

#推理

今日 3 条
9月22日周二
9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

    NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据,可用于比较推理基础设施的长期经济性。

  2. Google Research36

    Google Research 提出 Retrieve-for-Train:用 RL 编译扩散模型绕过推理瓶颈

    Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,实现推理时单次前向的查询扇出,无需生成 CoT 推理 token。该方法基于 Gemma3-4B 和 Qwen3-4B 微调,旨在解决零样本 LLM 的复述坍缩与自回归延迟瓶颈,相关论文已被 ICML 2026 收录。

9月8日周二
8月25日周二
  1. Hugging Face Blog60

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本

    Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),直接从未压缩的原始模型蒸馏,而非从恢复后的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比,以及 QAH 与 QAT 的训练稳定性差异。

8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍

    Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。

    推荐理由:Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,读者可据此判断端侧推理的可用性。

8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示,模型在静态图像识别上表现明显好于交互式规划任务,且两者均远低于人类水平;失败多出现在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助,跨多步操作仍不可靠。

8月12日周三
  1. Google Research62

    Google Research 提出知识画像框架:召回而非编码是参数化事实性的瓶颈

    Google Research 发布研究,提出知识画像(knowledge profiling)行为框架,同时测量大语言模型对事实的编码与召回,并配套推出包含 2,150 条维基百科事实、每条配 10 个问题的 WikiProfile 基准。

    推荐理由:通过知识画像区分编码与召回失败,指出前沿模型的事实错误更多来自知识可及性而非知识缺失。

7月29日周三
  1. OpenAI News62

    GPT-5.6 如何兼顾前沿智能与效率

    OpenAI 发布文章说明 GPT-5.6 在模型、推理和智能体工作流上提升 AI 效率,让每美元能获得更多可用智能。原文未给出具体性能数字或版本细节。

    推荐理由:原文只给出 GPT-5.6 在模型、推理与智能体工作流上的效率方向,缺少具体数据,读者可据此了解其定位。

7月26日周日
  1. Berkeley AI Research38

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互摘要

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以应对长程交互中上下文无法无限扩展的问题。在 CollabBench 协作编程任务上,基于重构的信念评分(rec-BG)将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也低于全上下文设置。

7月16日周四
7月15日周三
  1. Hugging Face Blog85

    Thinking Machines 发布 Inkling 多模态大模型及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型,同时推出 276B 总参数 12B 激活的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与多模态评测数据,可据此判断其推理成本与适用场景。

7月10日周五
7月8日周三
7月2日周四
  1. Mistral AI66

    Mistral 发布 Leanstral 1.5:6B 激活参数的形式化验证模型

    Mistral AI 发布 Leanstral 1.5,一个 Apache-2.0 许可的模型,总参数 119B、激活参数 6B,在形式化验证上大幅升级。它完全饱和 miniF2F,在 PutnamBench 上解出 587/672 题,并在 FATE-H 取得 87%、FATE-X 取得 34% 的 SOTA 成绩。

    推荐理由:原文给出 Leanstral 1.5 在形式化验证基准上的成绩与每道题成本,读者可据此判断开源证明模型的性价比。

6月27日周六
6月25日周四
6月18日周四
6月11日周四
6月9日周二
6月3日周三
  1. OpenAI News62

    OpenAI 为 GPT-Rosalind 引入生命科学新能力

    OpenAI 为 GPT-Rosalind 引入新能力,增强其在生命科学领域的生物推理、药物化学专业知识和基因组分析,并提升实验工作流能力。

    推荐理由:OpenAI 为 GPT-Rosalind 增加生物推理、药物化学与基因组分析能力,可据此了解模型在生命科学场景的定位。

5月20日周三
  1. OpenAI News82

    OpenAI 模型推翻离散几何核心猜想

    OpenAI 表示其模型解决了有 80 年历史的单位距离问题,推翻了离散几何中的一个重要猜想,被视为 AI 驱动数学的一个里程碑。

    推荐理由:OpenAI 模型推翻离散几何中一个长期猜想,可了解 AI 在数学证明上的进展边界。

5月14日周四
5月8日周五
  1. Berkeley AI Research31

    自适应并行推理:高效推理扩展的下一个范式

    伯克利 AI 研究团队梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并行子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等方法,指出多数方案仍由外部固定并行结构,而不同问题需要不同并行度。

5月7日周四
4月24日周五
4月20日周一
  1. Berkeley AI Research37

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度,使基于学习世界模型的长时程规划变得可行。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题。

4月16日周四
  1. OpenAI News70

    OpenAI 发布生命科学研究模型 GPT-Rosalind

    OpenAI 发布 GPT-Rosalind,一款面向生命科学研究的前沿推理模型。该模型用于加速药物发现、基因组分析、蛋白质推理和科研工作流。

    推荐理由:OpenAI 面向生命科学推出前沿推理模型,读者可了解其瞄准的药物发现与基因组分析场景。

3月25日周三
  1. Google Research62

    Google 发布 TurboQuant 等向量量化方法,将 KV cache 压至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 与 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化方法,可在不损失精度的前提下把 KV cache 压到 3 bit,读者可据此了解长上下文推理的内存优化路径。

3月17日周二
  1. Mistral AI78

    Mistral 发布 Mistral Small 4 开源模型,统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。

    推荐理由:Mistral 把推理、多模态与编码能力合并进单一开源模型,并给出可调推理强度与部署门槛,便于评估其替代多模型组合的可行性。

3月13日周五
3月9日周一
3月5日周四