Hugging Face 发布教程，介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度，在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速，并借助 hotswap 避免重新编译。
推荐理由：原文给出 Flux LoRA 推理的完整优化配方与实测数据，读者可据此在 H100 或消费级 GPU 上复现加速。
Mistral AI 联合 Carbone 4 和法国生态转型署（ADEME）完成首个 AI 模型全生命周期分析，并公开两项指标：Mistral Large 2 截至 2025 年 1 月训练及 18 个月使用产生 20.4 ktCO₂e。
OpenAI 与 Oracle 达成协议，将在美国开发 4.5 GW 的额外 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化，并推进美国 AI 领导地位，同时是 Stargate 这一 AI 基础设施平台的重要里程碑。
推荐理由：OpenAI 与 Oracle 新增 4.5 GW Stargate 数据中心容量，读者可了解其美国 AI 基础设施扩张规模。
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上支持超过 100,000 个 LLM 的快速可靠部署。NIM 提供单个 Docker 容器，自动识别模型格式、架构与量化格式（如 FP16、FP8、INT4），并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端，无需手动配置。
推荐理由：NIM 用单个容器自动识别模型格式并选择推理后端，读者可据此判断多模型部署流程能简化到什么程度。
Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet，已有 50 万个仓库、20 PB 数据完成迁移，超过 100 万用户在用。迁移通过 Git LFS Bridge 和后台迁移流程实现，旧客户端仍可正常上传下载，无需改变工作流。从本月起 Xet 将向所有用户开放，现有仓库会自动迁移，新仓库默认启用 Xet，后续计划开源 Xet 协议及整套基础设施。
推荐理由：Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节，可供理解大规模存储迁移的兼容与扩容方案。
Hugging Face 发布博客详解异步机器人推理，通过将动作预测与执行解耦，让机器人在等待新动作块计算时持续执行当前动作，实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 与 AMD 合作，为 AMD MI300X 编写自定义内核，在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
Hugging Face 以 nanoVLM 项目为例，展示如何用五阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用，随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制，分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。其中 NAT 网关吞吐量告警采用静态阈值，用于捕捉流量异常并提示团队优化网络路径与成本。日志归档链路则依托 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Mistral AI 推出 AI for Citizens 协作计划，帮助各国政府和公共机构战略性地运用 AI 改造公共服务、推动创新并保障竞争力。该计划已与法国、卢森堡、新加坡、荷兰、英国、瑞士等国政府、国防部队、公共部门机构和教育机构展开合作，提供开放模型、自托管部署、数据主权保障及定制化研发等选项，以替代封闭不透明的“一刀切”AI 方案。
NVIDIA 发布 Llama Nemotron Nano VL，一个基于 Llama-3.1-8B-Instruct 和 C-RADIOv2-VLM-H 视觉编码器的 8B 视觉语言模型，面向发票、合同等复杂文档的 OCR 与信息抽取，已在 Hugging Face 上线并可通过 NVIDIA NIM API 调用。
SGLang 现已支持将 Hugging Face transformers 作为后端，可直接以高性能推理运行任意 transformers 兼容模型，无需原生适配。
Groq 现已作为推理服务商接入 Hugging Face Hub，支持 Llama 4、Qwen QWQ-32B 等开源模型，并集成到 JS 和 Python 客户端 SDK。Groq 基于 LPU 提供低延迟、高吞吐的推理，采用按需付费模式。用户可在账户设置中配置 API key 或通过 HF 路由调用，PRO 用户每月获 2 美元推理额度。
TNG 在 24 张 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求，导致首 token 延迟升高。
Hugging Face 发布 Kernel Hub，允许 Python 库和应用通过 kernels 库的 get_kernel 函数直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub，支持 DeepSeek、Meta、Google、Qwen 等开源文本与对话模型，并集成到 JS 和 Python 客户端 SDK（需 huggingface_hub v0.33.0 及以上）。
Mistral AI 发布 Mistral Compute，提供私有、集成的 AI 基础设施栈，涵盖 GPU、编排、API、产品与服务，形态从裸金属服务器到全托管 PaaS。
推荐理由：Mistral 把自建训练平台对外产品化，读者可据此判断欧洲主权 AI 基础设施的供给格局。
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service，让全球研究机构更便捷地获取大型 GPU 集群，按训练时长付费。
推荐理由：Hugging Face 与 NVIDIA 把 GPU 集群申请、调度和训练工具串成一条流程，读者可据此判断算力获取方式的变化。
Mistral 发布企业级 AI 编码助手 Mistral Code，整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型，支持云端、专属容量或气隙本地 GPU 部署，代码留在企业边界内。
推荐理由：Mistral 把模型、IDE 插件与本地部署打包成企业级编码助手，读者可据此判断私有化编码方案的取舍。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块、逐层缓存的语言模型以及区分 prefill 与 decode 阶段的生成循环，经验可推广到所有自回归语言模型推理。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署（colocate），训练和推理共享同一批 GPU 并轮流执行，不再需要单独的推理服务器。
推荐理由：TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上，读者可据此判断在线学习训练的显存与吞吐取舍。
Mistral AI 发布 Codestral Embed，这是其首个专为代码设计的嵌入模型，在真实代码检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由：Mistral 首款代码嵌入模型给出了多维度与 int8 量化的取舍数据，可据此评估代码检索的存储成本。
Mistral 发布 Agents API，将自家语言模型与代码执行、网页搜索、图像生成、MCP 工具等内置连接器结合，并提供跨对话的持久记忆与智能体编排能力。
推荐理由：官方给出 Agents API 的连接器、记忆与多智能体编排能力，读者可据此判断企业级智能体平台的搭建方式。
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供可在本地部署和训练的模型与应用套件，支持 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型，Llama 4 在 Meta 公开发布后 1 小时内即上线。
OpenAI 宣布推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首次国际部署。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示效果。
微软在 Build 大会上宣布扩大与 Hugging Face 的合作，Azure AI Foundry 的 Hugging Face Collection 现已提供 10,000+ 模型，可一键部署到 Azure 安全基础设施，覆盖文本、音频和图像任务。
Hugging Face 在博客中表示，未来目标是让 Transformers 成为跨框架的枢纽，模型架构只要被 Transformers 支持，就能在生态其他工具中获得支持。
推荐理由：Hugging Face 官方说明 Transformers 将作为跨框架的模型定义中枢，读者可据此判断模型接入与部署链路的变化。
Kaggle 上线与 Hugging Face 的集成，可直接在 Kaggle 上发现和使用 Hugging Face 模型。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，转录性能较此前版本最高提升 8 倍，Whisper Large V3 的 RTFx 提升近 8 倍且转录质量无损。
Mistral AI 发布 Mistral Medium 3，称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上，成本为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，可据此判断企业自部署的成本与可行性。
Mistral AI 发布 Le Chat Enterprise，一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手，包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能，全部功能将在未来两周内陆续上线。
推荐理由：官方给出 Le Chat Enterprise 的功能清单与部署选项，可据此判断企业级 AI 助手的落地方式。
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重取整与截断范围，支持 INT2-INT8 低比特量化，INT2 下相对精度最高达主流基线 2.1 倍。
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
Cohere 正式接入 Hugging Face Inference Providers，成为首个在 HF Hub 上直接分享并托管自家模型的模型厂商。用户现可通过 Cohere 在 Hub 上对 Command A、Command R7B、Aya Expanse 及 Aya Vision 等 9 款模型运行无服务器推理，其中 Command A 支持 256k 上下文窗口和 23 种语言。
Gradio 是面向机器学习模型的 UI 与 API 交互框架，所有 Gradio 应用同时是 API，官方提供 Python（gradio_client）和 JavaScript（@gradio/client）SDK 及 cURL 访问。
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。
Hugging Face 与 Cloudflare 达成合作，FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络，每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供，超出限额后可切换至 Cloudflare 账户扩容。
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。