OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理（过程监督）而非仅奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解奖励每一步推理这一训练思路及其对齐收益。
推理能力
全部主题模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
最新精选
第 81–85 条 · 共 85 条OpenAI News精选AI 评分6767
Hugging Face Blog精选AI 评分6262 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库，该架构结合 RNN 与 Transformer 的优势，由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由：RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合，并已接入 transformers 库，读者可据此判断长上下文场景的选型空间。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成新方法
Hugging Face 发布辅助生成（assisted generation）方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，从而减少前向次数。
推荐理由：Hugging Face 官方给出辅助生成方法的原理与实测数据，读者可据此判断它是否适合自己现有的推理部署。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的问题。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在数据集测试中得分 55%，而 9-12 岁儿童小样本在同一批题目上得分 60%。
推荐理由：OpenAI 用小学数学应用题对比自家系统与微调 GPT-3 及 9-12 岁儿童的表现，可了解当时模型推理能力的边界。