OpenAI 预览 Ultrafast 模式,GPT-5.6 Sol 最高提速 14 倍
OpenAI 预览新的 API 服务档 Ultrafast,运行 GPT-5.6 Sol 时最高提速 14 倍,输出速度可达每秒 750 个 token。该服务由 Cerebras 提供算力支持。
推荐理由:OpenAI 公布 Ultrafast 服务档的速度指标与底层算力合作方,可据此判断高速推理的可用形态。
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
OpenAI 预览新的 API 服务档 Ultrafast,运行 GPT-5.6 Sol 时最高提速 14 倍,输出速度可达每秒 750 个 token。该服务由 Cerebras 提供算力支持。
推荐理由:OpenAI 公布 Ultrafast 服务档的速度指标与底层算力合作方,可据此判断高速推理的可用形态。
Google Research 发布研究,提出知识画像(knowledge profiling)行为框架,同时测量大语言模型对事实的编码与召回,并配套推出包含 2,150 条维基百科事实、每条配 10 个问题的 WikiProfile 基准。
推荐理由:通过知识画像区分编码与召回失败,指出前沿模型的事实错误更多来自知识可及性而非知识缺失。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由:读者可看到 CUDA 内核经验如何被结构化迁移到 Apple Silicon,以及翻译层对性能差距的具体贡献。
OpenAI 发布文章说明 GPT-5.6 在模型、推理和智能体工作流上提升 AI 效率,让每美元能获得更多可用智能。原文未给出具体性能数字或版本细节。
推荐理由:原文只给出 GPT-5.6 在模型、推理与智能体工作流上的效率方向,缺少具体数据,读者可据此了解其定位。
Thinking Machines 在 Hugging Face 发布 Inkling,一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型,同时推出 276B 总参数 12B 激活的 Inkling-Small。
推荐理由:原文给出 Inkling 的架构细节、部署配置与多模态评测数据,可据此判断其推理成本与适用场景。
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐,模型作者无需移植即可获得超快推理。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测与单 flag 用法,读者可据此判断现有部署流程是否需要改动。
Mistral AI 发布 Leanstral 1.5,一个 Apache-2.0 许可的模型,总参数 119B、激活参数 6B,在形式化验证上大幅升级。它完全饱和 miniF2F,在 PutnamBench 上解出 587/672 题,并在 FATE-H 取得 87%、FATE-X 取得 34% 的 SOTA 成绩。
推荐理由:原文给出 Leanstral 1.5 在形式化验证基准上的成绩与每道题成本,读者可据此判断开源证明模型的性价比。
Google Research 发布一种新架构,将多 Token 预测(MTP)头挂接到已冻结的 Gemini Nano v3 模型上,在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由:Google 把 MTP 头挂到冻结的 Gemini Nano v3 上,读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Google DeepMind 发布实验性开放模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理提速。
推荐理由:官方给出 26B MoE 文本扩散模型的开放权重与硬件实测数据,可据此判断本地低并发推理的取舍。
Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的智能体多模态模型,介于边缘端 E4B 与 26B MoE 之间,可在 16GB VRAM 或统一内存上本地运行。
推荐理由:Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存,读者可据此判断本地智能体的可行边界。
OpenAI 为 GPT-Rosalind 引入新能力,增强其在生命科学领域的生物推理、药物化学专业知识和基因组分析,并提升实验工作流能力。
推荐理由:OpenAI 为 GPT-Rosalind 增加生物推理、药物化学与基因组分析能力,可据此了解模型在生命科学场景的定位。
OpenAI 表示其模型解决了有 80 年历史的单位距离问题,推翻了离散几何中的一个重要猜想,被视为 AI 驱动数学的一个里程碑。
推荐理由:OpenAI 模型推翻离散几何中一个长期猜想,可了解 AI 在数学证明上的进展边界。
DeepSeek 发布 V4,在 Hub 上提供两个 MoE 检查点:DeepSeek-V4-Pro 总参数 1.6T、激活 49B,DeepSeek-V4-Flash 总参数 284B、激活 13B,均支持 1M token 上下文窗口。
推荐理由:原文给出 V4 在长上下文推理成本与智能体后训练上的具体设计,可据此判断开源模型跑长任务时的部署取舍。
OpenAI 发布 GPT-Rosalind,一款面向生命科学研究的前沿推理模型。该模型用于加速药物发现、基因组分析、蛋白质推理和科研工作流。
推荐理由:OpenAI 面向生命科学推出前沿推理模型,读者可了解其瞄准的药物发现与基因组分析场景。
Google Research 提出 TurboQuant 压缩算法,并配套 QJL 与 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。
推荐理由:Google 提出 TurboQuant 等三种向量量化方法,可在不损失精度的前提下把 KV cache 压到 3 bit,读者可据此了解长上下文推理的内存优化路径。
Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个重要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。
推荐理由:Mistral 把推理、多模态与编码能力合并进单一开源模型,并给出可调推理强度与部署门槛,便于评估其替代多模型组合的可行性。
Google DeepMind 推出 Gemini 3.1 Flash-Lite,定位为 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 和 Vertex AI 面向开发者预览。
推荐理由:官方给出价格、速度与基准数据,可据此判断高并发场景下是否值得替换现有轻量模型。
Google DeepMind 发布 Gemini 3.1 Pro,定位为面向复杂任务的核心推理升级,在 ARC-AGI-2 上取得 77.1% 的验证分数,超过 3 Pro 推理性能的两倍。
推荐理由:官方给出 ARC-AGI-2 上 77.1% 的验证分数与 3 Pro 的对比,可据此判断核心推理能力的提升幅度。
OpenAI 发布预印本,显示 GPT-5.2 为胶子振幅提出一个新公式,随后由 OpenAI 与学术合作者完成形式化证明与验证。
推荐理由:OpenAI 与学术合作者披露 GPT-5.2 提出胶子振幅新公式并被形式化证明,可观察模型在理论物理推导中的角色。
Google DeepMind 发布 Gemini 3 Deep Think 重大升级,这一专用推理模式面向科学、研究与工程难题。
推荐理由:官方给出 Deep Think 在 HLE、ARC-AGI-2、Codeforces 等基准上的具体成绩与开放入口,可据此判断其科研推理定位。