AWS 用 vLLM 双向 KV 传输降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已算好的 KV 缓存回传给 prefill 节点，避免多轮对话重复计算。在 Amazon EC2 P5en 实例的 1P1D 部署上，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
#推理
#推理
今日 2 条AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4242 vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL connector，将 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在 AWS EC2 P5en 实例搭配 EFA 的 1P1D 部署上，Qwen3-32B 的测试显示 push 模式相比 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
Microsoft Research精选AI 评分7171 微软研究院发布 Magnetar：基于标准哈希函数的通用零知识证明 zkVM
微软研究院发布零知识虚拟机 Magnetar，可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行过程，安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，无需椭圆曲线、格密码、可信设置或未证明的纠错码猜想。
推荐理由：微软研究院公开 Magnetar zkVM 的设计与基准数据，读者可了解零知识证明在通用程序上的效率与密码学取舍。
Hugging Face Blog精选AI 评分6464 Apertus 1.5 发布：8B 与 70B 模型新增图像音频理解与思考模式
Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0，新增图像与音频理解、可选的思考模式，上下文窗口提升至 262,144 tokens，为 1.0 的 4 倍，并改进了指令遵循与工具调用。
推荐理由：Apertus 1.5 在 8B 和 70B 上加入图像音频理解与思考模式，并公开训练数据与中间检查点，可观察开放多模态模型的完整训练路径。
Hugging Face Blog精选AI 评分7272 Liquid AI 发布 LFM2.5-24B-A2B 端侧推理智能体模型
Liquid AI 发布 LFM2.5-24B-A2B，一个 24B 参数、每 token 仅激活 2B 的推理模型，面向端侧私有智能体，会先思考再作答并调用工具。
推荐理由：Liquid AI 给出 24B-A2B 的端侧推理速度与智能体基准对比，可据此判断本地智能体的可行边界。
Google DeepMind精选AI 评分9292 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布 Gemini 4 Argon，今日起通过 Gemini API、AI Studio、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 面向开发者、企业和消费者开放，定价为每百万输入 token 2 美元、输出 token 10 美元，缓存输入 token 享 95% 折扣。
推荐理由：官方给出 Argon 在编码、科研与安全对齐上的具体案例和定价，可据此判断前沿模型在长程任务上的落地程度。
AWS Machine Learning BlogAI 评分3838 Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 token 行数过薄导致 Hopper GPU 利用率低的问题，AWS 提出 Swap-AB 优化，将专家维度 N=8192 提升为首操作数，在 H200 上实现端到端输出吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及更高版本。
AWS Machine Learning BlogAI 评分3434 用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，由 prefill 节点和 decode 节点共用一个 OpenAI 兼容端点。
AWS Machine Learning BlogAI 评分3434 在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS 发布 llama.cpp 专用深度学习容器（DLC），可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管方式部署量化模型，并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
Hugging Face Blog精选AI 评分6666 Nemotron 微调后在 IOI 2026 与 IMO 2026 均达金牌水平
英伟达团队从 Nemotron 3 出发，用 SFT、RL 和生成-验证-改进推理流程微调出专用模型，在 IOI 2026 和 IMO 2026 均达到金牌水平。
推荐理由：原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集，可迁移到其他专业领域。
OpenAI News精选AI 评分6262 OpenAI 公布前沿模型在数学开放问题上的进展
OpenAI 发布内部前沿模型在数学开放问题上取得的新结果，并在 GitHub 上公开 Lean 证明形式化及研究细节。
推荐理由：OpenAI 公开内部前沿模型在数学开放问题上的结果，并同步放出 Lean 形式化证明，可供研究者直接查阅。
NVIDIA Blog精选AI 评分7474 NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast
OpenAI 的 GPT-6 Astra Ultrafast 已在 NVIDIA Blackwell GPU 上运行，并面向 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户开放。
推荐理由：原文给出 Astra Ultrafast 的加速倍数与开放入口，读者可据此判断它对编码智能体循环的实际影响。
NVIDIA BlogAI 评分2020 NVIDIA AI 工厂如何实现高产出、长寿命与通用性以最大化投资回报
NVIDIA 提出 AI 工厂投资回报取决于产出能力、使用寿命与需求三项因素，其平台通过全栈协同设计实现每兆瓦吞吐最大化。SemiAnalysis AgentX 数据显示，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上，在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
Google DeepMind精选AI 评分8585 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，随后逐步扩展至开发者、企业和消费者，起步价每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入按输入价的 95% 折扣计费。
推荐理由：官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩，可据此判断前沿模型在长程工程与安全防御上的能力边界。
Hugging Face BlogAI 评分3939 Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，为 LFM2.5-VL-3B 加速推理
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下实现最高 3.13x 端侧解码加速和 2.66x H100 解码加速，端到端最高提升 2.62x 和 2.27x。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可用于比较推理基础设施的长期经济性。
Google ResearchAI 评分3636 Google Research 提出 Retrieve-for-Train：用 RL 编译扩散模型绕过推理瓶颈
Google Research 提出 Retrieve-for-Train 框架，通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号，再蒸馏进一个 53.9M 参数的扩散检索器，实现推理时单次前向的查询扇出，无需生成 CoT 推理 token。该方法基于 Gemma3-4B 和 Qwen3-4B 微调，旨在解决零样本 LLM 的复述坍缩与自回归延迟瓶颈，相关论文已被 ICML 2026 收录。
OpenAI NewsAI 评分2222 OpenAI 分享 AI 生成的 Navier–Stokes 千禧年大奖难题解答
OpenAI 分享了一份 AI 生成的 Navier–Stokes 千禧年大奖难题解答，包含一份文字论述和一份 Lean 形式化证明。
Hugging Face Blog精选AI 评分6262 IBM 发布 Granite 4.2 推理模型家族：3B、8B、30B 三档及构建流程
IBM Granite 团队发布 Granite 4.2，这是其首个稠密 decoder-only 推理模型家族，包含 3B、8B、30B 三个规模，基于 Granite-4.1 基座后训练而来，全部采用 Apache 2.0 许可。
推荐理由：IBM 公开了 Granite 4.2 从预训练到多阶段 RL 的完整构建流程，可对照其分阶段课程与奖励设计。
Hugging Face Blog精选AI 评分6060 Multiverse Computing 提出 Quantization-Aware Healing，4-bit 压缩模型在 9 项基准中 7 项超过其 bfloat16 版本
Multiverse Computing 发布论文提出 Quantization-Aware Healing（QAH），直接从未压缩的原始模型蒸馏，而非从恢复后的 bfloat16 checkpoint 蒸馏。
推荐理由：论文给出压缩后 4-bit 模型反超自身 bfloat16 版本的基准对比，以及 QAH 与 QAT 的训练稳定性差异。
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下提升解码速度，GPU 上吞吐最高提升 3.18 倍，端侧最高 2.87 倍。
推荐理由：Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据，读者可据此判断端侧推理的可用性。
OpenAI News精选AI 评分6060 OpenAI 预览 Ultrafast 模式，GPT-5.6 Sol 最高提速 14 倍
OpenAI 预览新的 API 服务档 Ultrafast，运行 GPT-5.6 Sol 时最高提速 14 倍，输出速度可达每秒 750 个 token。该服务由 Cerebras 提供算力支持。
推荐理由：OpenAI 公布 Ultrafast 服务档的速度指标与底层算力合作方，可据此判断高速推理的可用形态。
Microsoft ResearchAI 评分4141 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平；失败多出现在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助，跨多步操作仍不可靠。
Google Research精选AI 评分6262 Google Research 提出知识画像框架：召回而非编码是参数化事实性的瓶颈
Google Research 发布研究，提出知识画像（knowledge profiling）行为框架，同时测量大语言模型对事实的编码与召回，并配套推出包含 2,150 条维基百科事实、每条配 10 个问题的 WikiProfile 基准。
推荐理由：通过知识画像区分编码与召回失败，指出前沿模型的事实错误更多来自知识可及性而非知识缺失。
OpenAI NewsAI 评分3838 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 基准上得分翻三倍
启用两个 API 设置后，GPT-5.6 在 ARC-AGI-3 基准上的得分提升至原来的三倍。这两个设置分别用于保留推理过程和启用压缩（compaction），在提高分数的同时也提升了效率。
Berkeley AI Research精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX，并加入结构化的 CUDA 到 MLX 翻译层，让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由：读者可看到 CUDA 内核经验如何被结构化迁移到 Apple Silicon，以及翻译层对性能差距的具体贡献。
OpenAI News精选AI 评分6262 GPT-5.6 如何兼顾前沿智能与效率
OpenAI 发布文章说明 GPT-5.6 在模型、推理和智能体工作流上提升 AI 效率，让每美元能获得更多可用智能。原文未给出具体性能数字或版本细节。
推荐理由：原文只给出 GPT-5.6 在模型、推理与智能体工作流上的效率方向，缺少具体数据，读者可据此了解其定位。
Berkeley AI ResearchAI 评分3838 Berkeley AI Research 提出 ABBEL：用信念状态监督 LLM 长程交互摘要
Berkeley AI Research 提出 ABBEL 框架，将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督，以应对长程交互中上下文无法无限扩展的问题。在 CollabBench 协作编程任务上，基于重构的信念评分（rec-BG）将 ABBEL 与全上下文模型的性能差距缩小约 50%，训练步数从 100 降至 50，峰值 token 长度也低于全上下文设置。
Hugging Face BlogAI 评分3838 模型路由并不简单：从分类问题到系统优化问题
在 AppWorld Test Challenge 的 417 个任务上，同一 CodeAct 智能体下 Claude Sonnet 4.6 总成本 79 美元（0.19 美元/任务），GPT-4.1 却要 155 美元（0.37 美元/任务），原因是缓存命中率让 Sonnet 的实际输入成本大幅下降。
Hugging Face Blog精选AI 评分8585 Thinking Machines 发布 Inkling 多模态大模型及 Inkling-Small
Thinking Machines 在 Hugging Face 发布 Inkling，一个约 1T 参数、支持 1M 上下文、原生接收图像文本音频输入的开源多模态 MoE 模型，同时推出 276B 总参数 12B 激活的 Inkling-Small。
推荐理由：原文给出 Inkling 的架构细节、部署配置与多模态评测数据，可据此判断其推理成本与适用场景。
Hugging Face BlogAI 评分2222 PyTorch 性能分析（第三部分）：Attention 的 profile 实践
Hugging Face 博客发布《Profiling in PyTorch》系列第三部分，用 PyTorch 剖析 attention 的 profile 表现，脚本在 NVIDIA A100-SXM4-80GB 上运行。
Hugging Face Blog精选AI 评分6767 vLLM 的 transformers 建模后端达到原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐，模型作者无需移植即可获得超快推理。
推荐理由：原文给出 transformers 后端在 vLLM 中达到原生速度的实测与单 flag 用法，读者可据此判断现有部署流程是否需要改动。
Mistral AI精选AI 评分6666 Mistral 发布 Leanstral 1.5：6B 激活参数的形式化验证模型
Mistral AI 发布 Leanstral 1.5，一个 Apache-2.0 许可的模型，总参数 119B、激活参数 6B，在形式化验证上大幅升级。它完全饱和 miniF2F，在 PutnamBench 上解出 587/672 题，并在 FATE-H 取得 87%、FATE-X 取得 34% 的 SOTA 成绩。
推荐理由：原文给出 Leanstral 1.5 在形式化验证基准上的成绩与每道题成本，读者可据此判断开源证明模型的性价比。
Google Research精选AI 评分6060 Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 发布一种新架构，将多 Token 预测（MTP）头挂接到已冻结的 Gemini Nano v3 模型上，在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由：Google 把 MTP 头挂到冻结的 Gemini Nano v3 上，读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Google ResearchAI 评分3232 Google 研究揭示推理如何解锁 LLM 参数化知识
Google Research 在 COLM 2026 发表的论文发现，开启推理能让 Gemini-2.5（Flash 和 Pro）与 Qwen3-32B 在 SimpleQA Verified 和 EntityQuestions 上回忆起关闭推理时几乎无法获取的事实答案。
OpenAI NewsAI 评分5858 OpenAI 用 GPT-5.5 Instant 提升 ChatGPT 健康问答能力
OpenAI 发布 GPT-5.5 Instant，用于改进 ChatGPT 在健康与养生问题上的回答，官方称其在推理、上下文理解、表达清晰度上有所增强，并引入医生参与设计的评测。原文未披露具体评测分数与上线范围。
OpenAI NewsAI 评分5858 研究用 OpenAI 推理模型辅助诊断儿童罕见遗传病，新增 18 例确诊
研究人员使用 OpenAI 的推理模型辅助诊断罕见疾病，在既往未解的病例中得出 18 例新诊断。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 DiffusionGemma：文本生成最高提速 4 倍
Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式并行生成整块文本，在专用 GPU 上最高实现 4 倍推理提速。
推荐理由：官方给出 26B MoE 文本扩散模型的开放权重与硬件实测数据，可据此判断本地低并发推理的取舍。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的智能体多模态模型，介于边缘端 E4B 与 26B MoE 之间，可在 16GB VRAM 或统一内存上本地运行。
推荐理由：Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存，读者可据此判断本地智能体的可行边界。
OpenAI News精选AI 评分6262 OpenAI 为 GPT-Rosalind 引入生命科学新能力
OpenAI 为 GPT-Rosalind 引入新能力，增强其在生命科学领域的生物推理、药物化学专业知识和基因组分析，并提升实验工作流能力。
推荐理由：OpenAI 为 GPT-Rosalind 增加生物推理、药物化学与基因组分析能力，可据此了解模型在生命科学场景的定位。