OpenAI、Oracle 与 SoftBank 为 Stargate 新增五个 AI 数据中心站点
OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进总额 5000 亿美元、10 吉瓦的美国 AI 基础设施扩建。该项目称将支撑下一代 AI 并创造数万个就业岗位。
推荐理由:Stargate 新增五个站点,读者可据此了解 5000 亿美元、10 吉瓦级 AI 基建的推进节奏。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进总额 5000 亿美元、10 吉瓦的美国 AI 基础设施扩建。该项目称将支撑下一代 AI 并创造数万个就业岗位。
推荐理由:Stargate 新增五个站点,读者可据此了解 5000 亿美元、10 吉瓦级 AI 基建的推进节奏。
OpenAI 与 NVIDIA 宣布达成战略合作,将部署 10 吉瓦由 NVIDIA 系统驱动的 AI 数据中心,首期于 2026 年启动。
推荐理由:OpenAI 与 NVIDIA 的 10 吉瓦算力合作给出了首期落地时间,读者可据此判断两家在 AI 基础设施上的绑定程度。
Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言,量化后内存占用低于 200 MB。
推荐理由:308M 参数、2K 上下文、支持 100 多种语言,读者可据此判断端侧 RAG 与多语言检索的落地空间。
Hugging Face 发布教程,介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免短生命周期进程反复编译,在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。
推荐理由:Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据,可直接迁移到自己的 Space。
Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI,为基于 Arm CPU 的设备自动带来加速,Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。
推荐理由:Arm 与 ExecuTorch 0.7 默认启用 KleidiAI,读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。
OpenAI 发布开源权重模型家族 gpt-oss,包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b,均为 MoE 架构并采用 MXFP4 4-bit 量化,以 Apache 2.0 许可发布。
推荐理由:Hugging Face 汇总了 gpt-oss 两个开源模型的参数、量化方案与各推理框架的适配细节,便于判断本地部署门槛。
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。
推荐理由:OpenAI 开源两款权重模型并给出 Apache 2.0 许可,读者可据此判断本地部署与工具调用的可选空间。
Mistral AI 发布 Codestral 25.08,并推出面向企业的完整编码栈,包含 Codestral、Codestral Embed、Devstral 与 Mistral Code IDE 插件。
推荐理由:官方给出 Codestral 25.08 的补全提升数据与 Devstral 在 SWE-Bench Verified 上的成绩,可据此判断企业私有化编码栈的成熟度。
Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速,并借助 hotswap 避免重新编译。
推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或消费级 GPU 上复现加速。
OpenAI 与 Oracle 达成协议,将在美国开发 4.5 GW 的额外 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化,并推进美国 AI 领导地位,同时是 Stargate 这一 AI 基础设施平台的重要里程碑。
推荐理由:OpenAI 与 Oracle 新增 4.5 GW Stargate 数据中心容量,读者可了解其美国 AI 基础设施扩张规模。
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上支持超过 100,000 个 LLM 的快速可靠部署。NIM 提供单个 Docker 容器,自动识别模型格式、架构与量化格式(如 FP16、FP8、INT4),并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端,无需手动配置。
推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。
Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet,已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在用。迁移通过 Git LFS Bridge 和后台迁移流程实现,旧客户端仍可正常上传下载,无需改变工作流。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新仓库默认启用 Xet,后续计划开源 Xet 协议及整套基础设施。
推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可供理解大规模存储迁移的兼容与扩容方案。
Mistral AI 发布 Mistral Compute,提供私有、集成的 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务,形态从裸金属服务器到全托管 PaaS。
推荐理由:Mistral 把自建训练平台对外产品化,读者可据此判断欧洲主权 AI 基础设施的供给格局。
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service,让全球研究机构更便捷地获取大型 GPU 集群,按训练时长付费。
推荐理由:Hugging Face 与 NVIDIA 把 GPU 集群申请、调度和训练工具串成一条流程,读者可据此判断算力获取方式的变化。
Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量或气隙本地 GPU 部署,代码留在企业边界内。
推荐理由:Mistral 把模型、IDE 插件与本地部署打包成企业级编码助手,读者可据此判断私有化编码方案的取舍。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
Mistral AI 发布 Codestral Embed,这是其首个专为代码设计的嵌入模型,在真实代码检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由:Mistral 首款代码嵌入模型给出了多维度与 int8 量化的取舍数据,可据此评估代码检索的存储成本。
Mistral 发布 Agents API,将自家语言模型与代码执行、网页搜索、图像生成、MCP 工具等内置连接器结合,并提供跨对话的持久记忆与智能体编排能力。
推荐理由:官方给出 Agents API 的连接器、记忆与多智能体编排能力,读者可据此判断企业级智能体平台的搭建方式。
Hugging Face 在博客中表示,未来目标是让 Transformers 成为跨框架的枢纽,模型架构只要被 Transformers 支持,就能在生态其他工具中获得支持。
推荐理由:Hugging Face 官方说明 Transformers 将作为跨框架的模型定义中枢,读者可据此判断模型接入与部署链路的变化。
Mistral AI 发布 Mistral Medium 3,称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上,成本为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由:官方给出 Mistral Medium 3 的定价、对标模型与部署门槛,可据此判断企业自部署的成本与可行性。