Arm 将参展 PyTorch Conference，展示 ExecuTorch 与 vLLM 等 AI 技术
Arm 将于 10 月 22-23 日参展 PyTorch Conference，展示基于 PyTorch 和 ExecuTorch 的 AI 应用开发与部署方案。
#部署/工程
#部署/工程
今日 8 条Hugging Face BlogAI 评分88
OpenAI News精选AI 评分7777 AMD 与 OpenAI 达成战略合作，将部署 6 吉瓦 AMD GPU
AMD 与 OpenAI 宣布达成多年战略合作，将部署 6 吉瓦 AMD Instinct GPU，用于支撑 OpenAI 的下一代 AI 基础设施。部署从 2026 年的 1 吉瓦起步。
推荐理由：OpenAI 与 AMD 达成多年算力合作，读者可了解其分阶段部署规模与时间安排。
Hugging Face Blog精选AI 评分6262 用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践
Hugging Face 博客发布三部分系列文章，记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由：记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程，对端侧部署有可迁移的参考价值。
OpenAI News精选AI 评分6060 三星与 SK 加入 OpenAI 的 Stargate 计划，推进全球 AI 基础设施
三星与 SK 加入 OpenAI 的 Stargate 计划，以扩展全球 AI 基础设施。双方将扩大先进存储芯片生产，并在韩国建设下一代数据中心。
推荐理由：三星与 SK 加入 Stargate，读者可据此了解该计划在存储芯片与韩国数据中心上的落地方式。
Hugging Face BlogAI 评分3131 在 Intel Core Ultra 上用深度剪枝草稿模型加速 Qwen3-8B 智能体
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上为 Qwen3-8B 智能体做推测解码加速，以 Qwen3-0.6B 为草稿模型先取得约 1.3× 提速，再通过剪掉 28 层中的 6 层并用 Qwen3-8B 生成的合成数据微调，将提速提升至约 1.4×。
OpenAI News精选AI 评分6262 OpenAI、Oracle 与 SoftBank 为 Stargate 新增五个 AI 数据中心站点
OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点，推进总额 5000 亿美元、10 吉瓦的美国 AI 基础设施扩建。该项目称将支撑下一代 AI 并创造数万个就业岗位。
推荐理由：Stargate 新增五个站点，读者可据此了解 5000 亿美元、10 吉瓦级 AI 基建的推进节奏。
OpenAI News精选AI 评分8080 OpenAI 与 NVIDIA 达成战略合作，将部署 10 吉瓦 NVIDIA 系统
OpenAI 与 NVIDIA 宣布达成战略合作，将部署 10 吉瓦由 NVIDIA 系统驱动的 AI 数据中心，首期于 2026 年启动。
推荐理由：OpenAI 与 NVIDIA 的 10 吉瓦算力合作给出了首期落地时间，读者可据此判断两家在 AI 基础设施上的绑定程度。
Hugging Face BlogAI 评分2222 Hugging Face 新增 Scaleway 为 Inference Provider
Hugging Face Hub 新增 Scaleway 为 Inference Provider，用户可直接在模型页调用 gpt-oss、Qwen3、DeepSeek R1、Gemma 3 等开放权重模型。
Hugging Face BlogAI 评分2222 Public AI 成为 Hugging Face Inference Providers 支持的新推理服务商
Public AI 现已作为 Inference Provider 接入 Hugging Face Hub，用户可直接在模型页调用 Swiss AI Initiative、AI Singapore 等机构的公开主权模型。
Hugging Face BlogAI 评分5858 Hugging Face 详解 transformers 为 gpt-oss 引入的优化技巧
Hugging Face 博客介绍了为支持 OpenAI gpt-oss 系列而在 transformers 中做的一系列升级，包括可从 Hub 下载的零构建内核、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存、连续批处理与分页注意力，以及更快的模型加载。
Hugging Face Blog精选AI 评分6060 Google 发布 EmbeddingGemma 嵌入模型
Google 发布 EmbeddingGemma，一款面向端侧场景的多语言嵌入模型，308M 参数、2K 上下文窗口，支持 100 多种语言，量化后内存占用低于 200 MB。
推荐理由：308M 参数、2K 上下文、支持 100 多种语言，读者可据此判断端侧 RAG 与多语言检索的落地空间。
Hugging Face Blog精选AI 评分6060 如何用 PyTorch 提前编译让 ZeroGPU Spaces 提速
Hugging Face 发布教程，介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译（AoT）替代 torch.compile，避免短生命周期进程反复编译，在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。
推荐理由：Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据，可直接迁移到自己的 Space。
Hugging Face BlogAI 评分4848 从零到 GPU：构建与扩展生产级 CUDA Kernel 指南
Hugging Face 发布 kernel-builder 库，让开发者可在本地开发自定义 CUDA kernel，再为多种架构构建并通过 Hub 分发。指南以 RGB 转灰度 kernel 为例，演示用 PyTorch 现代 C++ API 将函数注册为原生算子，从而兼容 torch.compile 并支持硬件特定实现。
Hugging Face Blog精选AI 评分6060 Arm 与 ExecuTorch 0.7：KleidiAI 默认启用，让旧款 Arm 设备也能跑生成式 AI
Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI，为基于 Arm CPU 的设备自动带来加速，Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。
推荐理由：Arm 与 ExecuTorch 0.7 默认启用 KleidiAI，读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。
Hugging Face BlogAI 评分4242 Arm 发布 Neural Super Sampling（NSS）AI 超采样技术
Arm 面向图形与游戏开发者发布 AI 超采样方案 Neural Super Sampling（NSS），基于 Arm Neural Technology 面向未来移动设备实时渲染。
Hugging Face BlogAI 评分3838 Accelerate ND-Parallel 指南：如何高效进行多 GPU 训练
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel，可通过 ParallelismConfig 组合数据并行、FSDP、张量并行与上下文并行等多种策略。
OpenAI NewsAI 评分2222 Cursor 如何使用 GPT-5
OpenAI 发文介绍 Cursor 如何使用 GPT-5。正文未披露具体功能、参数或性能数据。
Hugging Face Blog精选AI 评分8888 Hugging Face 欢迎 OpenAI 开源模型家族 gpt-oss
OpenAI 发布开源权重模型家族 gpt-oss，包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b，均为 MoE 架构并采用 MXFP4 4-bit 量化，以 Apache 2.0 许可发布。
推荐理由：Hugging Face 汇总了 gpt-oss 两个开源模型的参数、量化方案与各推理框架的适配细节，便于判断本地部署门槛。
OpenAI News精选AI 评分8888 OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 两款开放权重模型
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型，采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型，具备较强的工具调用能力，并针对消费级硬件的高效部署做了优化。
推荐理由：OpenAI 开源两款权重模型并给出 Apache 2.0 许可，读者可据此判断本地部署与工具调用的可选空间。
OpenAI NewsAI 评分4242 OpenAI 在挪威推出 Stargate Norway，为其欧洲首个 AI 数据中心计划
OpenAI 在 OpenAI for Countries 计划下启动 Stargate Norway，这是其在欧洲的首个 AI 数据中心计划。Stargate 是 OpenAI 的整体基础设施平台，也是其长期愿景的关键部分，目标是把 AI 的好处带给所有人。
Mistral AI精选AI 评分6262 Mistral 发布 Codestral 25.08 及企业级完整编码栈
Mistral AI 发布 Codestral 25.08，并推出面向企业的完整编码栈，包含 Codestral、Codestral Embed、Devstral 与 Mistral Code IDE 插件。
推荐理由：官方给出 Codestral 25.08 的补全提升数据与 Devstral 在 SWE-Bench Verified 上的成绩，可据此判断企业私有化编码栈的成熟度。
OpenAI NewsAI 评分1818 Intercom 打造可持续 AI 优势的三条经验
Intercom 分享了构建可扩展 AI 平台的三条经验，涵盖评估体系与架构设计，目标是引领客户支持的未来。
Hugging Face BlogAI 评分3434 Hugging Face 为 Parquet 引入内容定义分块（CDC）
Hugging Face 在 PyArrow 和 Pandas 中上线 Parquet 内容定义分块（CDC）功能，配合 Xet 存储层实现 Parquet 文件去重，仅上传或下载发生变化的 chunk，从而降低数据传输与存储成本。
Hugging Face BlogAI 评分3636 Hugging Face CLI 正式更名为 hf，并推出 hf jobs 服务
Hugging Face 将其 CLI 从 huggingface-cli 正式更名为 hf，命令按资源分组（如 hf auth、hf cache、hf repo），并保留旧命令兼容过渡。同时推出首个专属命令 hf jobs，可在 Hugging Face 基础设施上运行脚本或 Docker 镜像，按秒计费，仅对 Pro 用户及 Team 或 Enterprise 组织开放。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 PEFT 实现 Flux 的快速 LoRA 推理
Hugging Face 发布教程，介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度，在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速，并借助 hotswap 避免重新编译。
推荐理由：原文给出 Flux LoRA 推理的完整优化配方与实测数据，读者可据此在 H100 或消费级 GPU 上复现加速。
Mistral AIAI 评分3838 Mistral AI 发布首个 AI 模型全生命周期环境影响研究，为行业环境标准提供依据
Mistral AI 联合 Carbone 4 和法国生态转型署（ADEME）完成首个 AI 模型全生命周期分析，并公开两项指标：Mistral Large 2 截至 2025 年 1 月训练及 18 个月使用产生 20.4 ktCO₂e。
OpenAI News精选AI 评分6262 OpenAI 与 Oracle 达成 4.5 GW Stargate 数据中心合作
OpenAI 与 Oracle 达成协议，将在美国开发 4.5 GW 的额外 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化，并推进美国 AI 领导地位，同时是 Stargate 这一 AI 基础设施平台的重要里程碑。
推荐理由：OpenAI 与 Oracle 新增 4.5 GW Stargate 数据中心容量，读者可了解其美国 AI 基础设施扩张规模。
Hugging Face Blog精选AI 评分6262 NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 快速部署
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上支持超过 100,000 个 LLM 的快速可靠部署。NIM 提供单个 Docker 容器，自动识别模型格式、架构与量化格式（如 FP16、FP8、INT4），并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端，无需手动配置。
推荐理由：NIM 用单个容器自动识别模型格式并选择推理后端，读者可据此判断多模型部署流程能简化到什么程度。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Hub 存储从 Git LFS 迁移到 Xet
Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet，已有 50 万个仓库、20 PB 数据完成迁移，超过 100 万用户在用。迁移通过 Git LFS Bridge 和后台迁移流程实现，旧客户端仍可正常上传下载，无需改变工作流。从本月起 Xet 将向所有用户开放，现有仓库会自动迁移，新仓库默认启用 Xet，后续计划开源 Xet 协议及整套基础设施。
推荐理由：Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节，可供理解大规模存储迁移的兼容与扩容方案。
Hugging Face BlogAI 评分4040 Hugging Face 详解异步机器人推理：解耦动作预测与执行
Hugging Face 发布博客详解异步机器人推理，通过将动作预测与执行解耦，让机器人在等待新动作块计算时持续执行当前动作，实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face BlogAI 评分3434 Hugging Face 与 AMD 为 MI300X 打造自定义内核，优化 Llama 3.1 405B FP8 推理
Hugging Face 与 AMD 合作，为 AMD MI300X 编写自定义内核，在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
Hugging Face BlogAI 评分3838 Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法
Hugging Face 以 nanoVLM 项目为例，展示如何用五阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用，随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Hugging Face BlogAI 评分1515 Hugging Face 生产基础设施背后的三大关键告警
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制，分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。其中 NAT 网关吞吐量告警采用静态阈值，用于捕捉流量异常并提示团队优化网络路径与成本。日志归档链路则依托 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Mistral AIAI 评分3838 Mistral AI 推出 AI for Citizens 计划，助各国政府掌控 AI 未来
Mistral AI 推出 AI for Citizens 协作计划，帮助各国政府和公共机构战略性地运用 AI 改造公共服务、推动创新并保障竞争力。该计划已与法国、卢森堡、新加坡、荷兰、英国、瑞士等国政府、国防部队、公共部门机构和教育机构展开合作，提供开放模型、自托管部署、数据主权保障及定制化研发等选项，以替代封闭不透明的“一刀切”AI 方案。
Hugging Face BlogAI 评分5858 NVIDIA 发布 Llama Nemotron Nano VL 8B 视觉语言模型并上线 Hugging Face
NVIDIA 发布 Llama Nemotron Nano VL，一个基于 Llama-3.1-8B-Instruct 和 C-RADIOv2-VLM-H 视觉编码器的 8B 视觉语言模型，面向发票、合同等复杂文档的 OCR 与信息抽取，已在 Hugging Face 上线并可通过 NVIDIA NIM API 调用。
Hugging Face BlogAI 评分4040 SGLang 集成 Hugging Face Transformers 后端
SGLang 现已支持将 Hugging Face transformers 作为后端，可直接以高性能推理运行任意 transformers 兼容模型，无需原生适配。
Hugging Face BlogAI 评分3030 Groq 成为 Hugging Face Hub 支持的推理服务商
Groq 现已作为推理服务商接入 Hugging Face Hub，支持 Llama 4、Qwen QWQ-32B 等开源模型，并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理，采用按需付费模式。用户可在账户设置中配置 API key 或通过 HF 路由调用，PRO 用户每月获 2 美元推理额度。
Hugging Face BlogAI 评分2828 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 张 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求，导致首 token 延迟升高。
Hugging Face BlogAI 评分5252 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，允许 Python 库和应用通过 kernels 库的 get_kernel 函数直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
Hugging Face BlogAI 评分2222 Featherless AI 成为 Hugging Face Inference Providers 支持的服务商
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub，支持 DeepSeek、Meta、Google、Qwen 等开源文本与对话模型，并集成到 JS 和 Python 客户端 SDK（需 huggingface_hub v0.33.0 及以上）。