OpenAI 公布自研推理芯片 Jalapeño 首批结果,主打推理速度与能效
OpenAI 公布自研推理芯片 Jalapeño 的首批结果,称其在 AI 推理上具备行业领先的速度与能效。该芯片面向现代模型提供更高吞吐和更低延迟,同时更省电。
推荐理由:OpenAI 自研推理芯片 Jalapeño 的首批结果,可用于观察其推理速度与能效的定位。
OpenAI 公布自研推理芯片 Jalapeño 的首批结果,称其在 AI 推理上具备行业领先的速度与能效。该芯片面向现代模型提供更高吞吐和更低延迟,同时更省电。
推荐理由:OpenAI 自研推理芯片 Jalapeño 的首批结果,可用于观察其推理速度与能效的定位。
OpenAI 为 ChatGPT Work 和 Codex 推出 Admin 插件,可分析工作区用量、管理成员与权限、调整限额并处理管理请求。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发和 AI 解决方案部署,合作规模达数亿欧元。双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业提供 AI 解决方案。
Papers with Code 采用混合搜索架构,用 PostgreSQL 全文检索加 pgvector 语义召回,并通过 RRF 算法融合两路结果。
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍。
推荐理由:Liquid AI 给出三个 LFM2.5 模型的 DSpark 草稿模型与实测加速数据,读者可据此判断端侧推理的可用性。
Asana 借助 OpenAI Codex 在两周内替换了老旧的测试系统,模型与基础设施成本约 1.2 万美元。该迁移原本预计耗时数年。
NVIDIA 团队使用 ChatGPT Work 减少手动任务、连接快速变化的信号,并在全球范围内规模化推广成功的工作流。
Hugging Face 构建了约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件和负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在所有场景中均上升,最高提升 105%。在五个真实争用场景中,利用率从 52–85% 提升至 72–88%,优先级加权价值提升 24.6% 至 105.1%,平均 52%。
OpenAI 预览新的 API 服务档 Ultrafast,运行 GPT-5.6 Sol 时最高提速 14 倍,输出速度可达每秒 750 个 token。该服务由 Cerebras 提供算力支持。
推荐理由:OpenAI 公布 Ultrafast 服务档的速度指标与底层算力合作方,可据此判断高速推理的可用形态。
Hugging Face 的 ALTK-Evolve 与 ACE 同属无需更新权重、无需人工标注的智能体记忆方案,但 ALTK-Evolve 把记忆投递当作可调旋钮,按任务检索少量高支持度 guideline,而非每步注入完整 playbook。
Mistral 宣布 Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行,同时 Mistral Priority Tier 进入公开预览,提供自定义速率限制和带 SLA 的可用性承诺。
推荐理由:Mistral 把区域推理端点、优先级服务和第三方开源模型接入放在同一套基础设施上,读者可据此判断欧洲主权 AI 的落地路径。
OpenAI 与 AWS 合作,通过 Amazon Bedrock 提供 Daybreak 网络安全能力,以支持企业安全相关工作流。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数开放权重模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。
推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,便于评估自建语音链路的延迟预算。
Model ML 借助 GPT-5.6 Sol,将金融工作从调研分析一路推进到可编辑、可追溯的 PowerPoint 演示文稿和 Excel 工作簿。
Hugging Face 最新论文提出两项系统改动降低 LLM 知识蒸馏成本:离线缓存教师模型每位置的 top-100 logits,使教师无需与学生同时驻留显存;融合分块 KL 损失避免生成完整的词表×序列长度矩阵。
Baseten 正式加入 Hugging Face Hub 的 Inference Providers 生态,首批支持对话与文本生成任务,可调用 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开放权重模型。
微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理三类智能体任务,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练。
推荐理由:微软研究院开源 Orchard 框架,用约 3B 激活参数在 SWE-bench Verified 上达到 69.7%,读者可据此判断小模型智能体的训练成本与可行性。
OpenAI 用六个月搭建了 GPT-Live 的实时语音系统,通过无轮次语音模型与低延迟架构实现与 AI 的连续语音交互,让对话更快、更自然。
Circles 使用 OpenAI API 和 Codex 打造 AI 原生电信体验,使 ARPU 提升 22%、用户流失率降低 9%,并提升开发效率。
Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能水平。GPU 按日历小时计费,却只按计算小时产出,企业自购 GPU 后问题从"能否买到"变成"能否让它们保持忙碌"。文章以航空业停场飞机作类比,强调集群即使满载也可能浪费大部分潜力,因为 GPU 全天运行而需求并不持续。
OpenAI 宣布下调 GPT-5.6 在 Luna 和 Terra 上的价格,并介绍其更高效的模型如何帮助企业规模化部署 AI 工作流。
推荐理由:OpenAI 下调 GPT-5.6 在 Luna 与 Terra 上的价格,读者可据此评估企业级 AI 工作流的部署成本变化。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由:读者可看到 CUDA 内核经验如何被结构化迁移到 Apple Silicon,以及翻译层对性能差距的具体贡献。
OpenAI 宣布在佐治亚州 Effingham County 启动 Project Camellia,承诺负责任能源、社区投资与就业,并提供 Codex 使用渠道。
在 AppWorld Test Challenge 的 417 个任务上,同一 CodeAct 智能体下 Claude Sonnet 4.6 总成本 79 美元(0.19 美元/任务),GPT-4.1 却要 155 美元(0.37 美元/任务),原因是缓存命中率让 Sonnet 的实际输入成本大幅下降。
OpenAI 提出企业应在智能体时代以"每美元有效工作量"衡量 AI 投资回报,通过提升效率、扩展高价值工作流来管理投入。该思路强调从成本视角转向产出视角,评估 AI 在真实业务中创造的实际价值。
Deutsche Telekom 正借助 OpenAI 转型为 AI 原生电信运营商,改造客户服务、员工工作流、网络运营以及语音的未来。
Hugging Face 博客发布《Profiling in PyTorch》系列第三部分,用 PyTorch 剖析 attention 的 profile 表现,脚本在 NVIDIA A100-SXM4-80GB 上运行。
Mistral Studio 即日起为 Prompts 和 Skills 提供集中式记录系统,每个资产都具备不可变版本、明确归属和审计日志。用户可对比任意两个版本、查看变更并在数分钟内回滚,非开发者也能直接编辑和测试提示词,通过标签触发 CI/CD 部署。Skills 可作为 MCP 服务器直接从 Studio 调用,确保生产环境执行的是同一受治理资产。
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的吞吐,模型作者无需移植即可获得超快推理。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测与单 flag 用法,读者可据此判断现有部署流程是否需要改动。
Hugging Face 与 Amazon SageMaker AI 推出深度链接集成,开发者在支持的模型页点击 Customize on SageMaker AI 或 Deploy on SageMaker AI,即可一键进入 SageMaker Studio 并预加载所选模型。
Google Research 在 Nature Cities 发表首个大规模真实世界研究,通过修改 Google Maps 算法将不到 2% 的行程引导至相似耗时的替代路线,在美国 10 座城市测试六个月。结果显示目标路段行驶速度中位数提升约 2%,燃油消耗率中位数下降 0.5% 至 1.0%,每座城市每年可减少数千吨 CO2e 排放。
微软在 Build 2026 宣布 Foundry Managed Compute,并在 Microsoft Foundry 模型目录中推出 Hugging Face 模型集合,每周刷新,可一键部署到托管 GPU 平台。
推荐理由:微软把 Hugging Face 开源模型的部署运维层接进 Foundry,读者可据此判断企业落地开源模型的门槛变化。
UC Berkeley 团队提出,随着推理价格从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不足 $1、部分低于 $0.10,数据系统需应对三大新挑战:为智能体设计(Data Systems For Agents)、运行智能体集群(Of Agents)、由智能体合成(By Agents)。
SkyPilot 与 Hugging Face 联合发布存储集成,用户可用一个 hf:// URL 和已有的 HF_TOKEN 把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
推荐理由:原文给出 hf:// 挂载与零出网费的具体机制和跨云基准数据,读者可据此判断跨云训练存储成本的变化。
Hugging Face 为 Kernels 项目引入 Hub 上的 "kernel" 新仓库类型,并新增可信发布者与代码签名两层安全机制,默认只加载可信发布者的 kernel,其他来源需显式传入 trust_remote_code。CLI 方面 kernels 与 kernel-builder 职责分离,框架支持新增 Torch Stable ABI 和 Apache TVM FFI。
OpenAI 工程师通过大规模 core dump 分析排查基础设施的罕见崩溃,发现其中既有硬件故障,也有一个存在了 18 年的软件 bug。
Google Research 发布一种新架构,将多 Token 预测(MTP)头挂接到已冻结的 Gemini Nano v3 模型上,在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由:Google 把 MTP 头挂到冻结的 Gemini Nano v3 上,读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Hugging Face 发布教程,介绍用一条 hf jobs run 命令在 HF 基础设施上启动私有、兼容 OpenAI API 的 vLLM 端点,按秒计费,无需自行配置服务器或 Kubernetes。
推荐理由:原文给出从启动到查询、SSH 调试和接入编码智能体的完整命令,可据此复现私有 vLLM 端点。
Google Research 提出线性弹性缓存,将页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小。在 Spanner 生产环境测试中,内存用量减少 15.5%,缓存未命中仅增加 5.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。该方案用浅层决策树预测页面 TTL,已在 Spanner 生产服务器集成数月。
NVIDIA 在 Hugging Face 博客发布开源库 NeMo AutoModel,基于 Transformers v5 构建,为 MoE 模型微调加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核。
推荐理由:原文给出 NeMo AutoModel 在 MoE 微调上的吞吐与显存对比,读者可据此判断是否值得替换现有训练栈。