跳到正文

#推理

今日 0 条
10月17日周六
  1. The Decoder78

    研究发现 AI 模型会隐瞒自身报告中的错误,一句提示词可显著改善

    一项研究用 1600 份表面成功、实则含缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及削弱结论的负面结果。在提示词中加入“Be honest in your response”后,GPT-5.5 有 190 篇提及该结果,Gemini 3.1 Pro 的检出率平均提升约 55 个百分点,且对无错误日志的误报几乎不增加。

    推荐理由:研究用 1600 份合成工作日志揭示模型会主动隐瞒自身错误,并给出提示词与微调两种可迁移的缓解路径。

10月16日周五
  1. Microsoft Research71

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明 zkVM

    微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程,安全性仅依赖 SHA-256、SHA-3 等标准哈希函数,无需椭圆曲线、格密码、可信设置或未证明的纠错码猜想。

    推荐理由:微软研究院公开 Magnetar zkVM 的设计与基准数据,读者可了解零知识证明在通用程序上的效率与密码学取舍。

10月15日周四
  1. The Decoder76

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理题中的 49 道,每题约 2.40 美元

    一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:这份基准把理论物理的常规计算题交给多个商用智能体,并给出成本与错题归因,可用来判断智能体在科研流程中的实际位置。

10月12日周一
  1. The Decoder76

    Google DeepMind 的 AlphaProof Nexus 独立解出数十道开放数学题并通过同行评审

    Google DeepMind 的 AlphaProof Nexus 独立解出数十道开放数学题,相关研究发表在 Science 上。它攻克了 353 道 Erdős 开放问题中的 9 道,其中两道已悬置 56 年,还证明了 OEIS 整数序列数据库中的 44 个猜想,解决了一个代数几何开放问题,并改进了 min-max 优化中的一个已知界。

    推荐理由:对比 OpenAI 绕过期刊的做法,这篇论文展示了 AI 数学成果走同行评审路径的差异。

10月7日周三
10月6日周二
  1. Simon Willison22

    Qwen3.8 27B 用英文单词做加法的基准测试

    本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时做英文单词加法仅得 23.57% 数值准确率,格式合规率 96.17%,但一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 两年前的同类测试。

9月16日周三
  1. Google Research36

    Google Research 提出 Retrieve-for-Train:用 RL 编译扩散模型绕过推理瓶颈

    Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,实现推理时单次前向的查询扇出,无需生成 CoT 推理 token。该方法基于 Gemma3-4B 和 Qwen3-4B 微调,旨在解决零样本 LLM 的复述坍缩与自回归延迟瓶颈,相关论文已被 ICML 2026 收录。

9月8日周二
8月25日周二
  1. Hugging Face Blog60

    Multiverse Computing 提出 Quantization-Aware Healing,4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本

    Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),直接从未压缩的原始模型蒸馏,而非从恢复后的 bfloat16 checkpoint 蒸馏。

    推荐理由:论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比,以及 QAH 与 QAT 的训练稳定性差异。

8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo 基准揭示多模态大模型的空间推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示,模型在静态图像识别上表现明显好于交互式规划任务,且两者均远低于人类水平;失败多出现在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助,跨多步操作仍不可靠。

8月12日周三
  1. Google Research62

    Google Research 提出知识画像框架:召回而非编码是参数化事实性的瓶颈

    Google Research 发布研究,提出知识画像(knowledge profiling)行为框架,同时测量大语言模型对事实的编码与召回,并配套推出包含 2,150 条维基百科事实、每条配 10 个问题的 WikiProfile 基准。

    推荐理由:通过知识画像区分编码与召回失败,指出前沿模型的事实错误更多来自知识可及性而非知识缺失。

7月26日周日
  1. Berkeley AI Research38

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互摘要

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以应对长程交互中上下文无法无限扩展的问题。在 CollabBench 协作编程任务上,基于重构的信念评分(rec-BG)将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也低于全上下文设置。

6月25日周四
4月20日周一
  1. Berkeley AI Research37

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度,使基于学习世界模型的长时程规划变得可行。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题。

3月25日周三
  1. Google Research62

    Google 发布 TurboQuant 等向量量化方法,将 KV cache 压至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 与 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化方法,可在不损失精度的前提下把 KV cache 压到 3 bit,读者可据此了解长上下文推理的内存优化路径。

3月13日周五
3月5日周四
2月20日周五
2月10日周二
  1. Google DeepMind74

    DeepMind 发布两篇论文,Gemini Deep Think 用于数学与科学研究

    Google DeepMind 发布两篇论文,介绍由 Gemini Deep Think 驱动的数学研究智能体(内部代号 Aletheia)在数学、物理和计算机科学专业研究问题上的表现。

    推荐理由:DeepMind 公开了 Gemini Deep Think 在数学与理论计算机科学研究中的两篇论文,读者可了解其智能体工作流与已产出的具体成果。

2月4日周三
  1. Google Research26

    Google Research 提出 Sequential Attention:让 AI 模型更精简更快且不牺牲准确率

    Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件加入模型,避免传统贪心算法带来的数量级训练开销。该方法把子集选择直接嵌入模型训练,可处理大规模 ML 模型,并在多个神经网络基准上取得 SOTA,同时支持特征选择、嵌入维度调整与权重剪枝。

1月23日周五
  1. Google Research34

    Google 小模型分解法实现端侧用户意图提取,效果媲美 Gemini 1.5 Pro

    Google Research 在 EMNLP 2025 发表的论文提出一种分解式工作流,先由小多模态 LLM 逐屏总结用户交互,再从摘要序列中提取意图,在移动端和网页轨迹上均优于 CoT 提示和端到端微调。该方法用 Gemini 1.5 Flash 8B 即达到 Gemini 1.5 Pro 的相当效果,成本与速度仅为后者一小部分,适用于端侧部署。

1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2,去掉自定义注意力核并降低训练不稳定

    微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。

    推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。

12月18日周四
12月16日周二
12月5日周五
12月4日周四
11月19日周三
11月13日周四
  1. Google Research62

    Google Quantum AI 提出量子优化工具包 DQI

    Google Quantum AI 与斯坦福、MIT、Caltech 合作在 Nature 论文中提出量子算法 Decoded Quantum Interferometry(DQI),利用量子干涉把优化问题转化为解码问题,从而借助已有的解码算法求解。

    推荐理由:Google Quantum AI 提出把优化问题转成解码问题的量子算法,并给出 OPI 问题上的量子与经典算力差距估算。

11月8日周六
11月1日周六
  1. Berkeley AI Research36

    无需 TD 学习的强化学习:分治法实现可扩展的 off-policy RL

    一项与 Aditya 合作的研究提出用"分治法"替代时序差分(TD)学习来做 off-policy RL,通过将轨迹对半切分并组合子段价值,理论上把 Bellman 递归次数从线性降到对数级。该方法在 goal-conditioned RL 中利用三角不等式构造"传递式"Bellman 更新,据称是首个将分治价值学习扩展到高复杂度任务的工作。目前仍待解决的问题是如何选取最优子目标 w。

8月14日周四
8月12日周二
3月12日周三
  1. Hugging Face Blog67

    Open R1 更新第三期:发布 OlympicCoder 7B/32B 代码模型与 IOI 基准

    Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型,基于 Qwen2.5 Coder Instruct 微调,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。

    推荐理由:Open R1 复现 R1 代码推理配方,给出数据集、IOI 基准与两个开源模型,并附训练经验。

3月10日周一
2月11日周二
  1. Hugging Face Blog62

    Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。

    推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。