Mistral AI 发布 Mistral Compute AI 基础设施服务
Mistral AI 发布 Mistral Compute，提供私有、集成的 AI 基础设施栈，涵盖 GPU、编排、API、产品与服务，形态从裸金属服务器到全托管 PaaS。
推荐理由：Mistral 把自建训练平台对外产品化，读者可据此判断欧洲主权 AI 基础设施的供给格局。
#部署/工程
#部署/工程
今日 8 条Mistral AI精选AI 评分6262 Hugging Face Blog精选AI 评分6060 Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service
Hugging Face 与 NVIDIA 在 GTC Paris 宣布合作推出 Training Cluster as a Service，让全球研究机构更便捷地获取大型 GPU 集群，按训练时长付费。
推荐理由：Hugging Face 与 NVIDIA 把 GPU 集群申请、调度和训练工具串成一条流程，读者可据此判断算力获取方式的变化。
Mistral AI精选AI 评分6060 Mistral 发布企业级 AI 编码助手 Mistral Code
Mistral 发布企业级 AI 编码助手 Mistral Code，整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型，支持云端、专属容量或气隙本地 GPU 部署，代码留在企业边界内。
推荐理由：Mistral 把模型、IDE 插件与本地部署打包成企业级编码助手，读者可据此判断私有化编码方案的取舍。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块、逐层缓存的语言模型以及区分 prefill 与 decode 阶段的生成循环，经验可推广到所有自回归语言模型推理。
Hugging Face Blog精选AI 评分6262 TRL 引入 vLLM 同卡部署，GRPO 训练吞吐最高提升 1.73 倍
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署（colocate），训练和推理共享同一批 GPU 并轮流执行，不再需要单独的推理服务器。
推荐理由：TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上，读者可据此判断在线学习训练的显存与吞吐取舍。
Mistral AI精选AI 评分6262 Mistral 发布首个代码专用嵌入模型 Codestral Embed
Mistral AI 发布 Codestral Embed，这是其首个专为代码设计的嵌入模型，在真实代码检索任务上优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由：Mistral 首款代码嵌入模型给出了多维度与 int8 量化的取舍数据，可据此评估代码检索的存储成本。
Mistral AI精选AI 评分7272 Mistral 发布 Agents API，支持内置连接器与多智能体编排
Mistral 发布 Agents API，将自家语言模型与代码执行、网页搜索、图像生成、MCP 工具等内置连接器结合，并提供跨对话的持久记忆与智能体编排能力。
推荐理由：官方给出 Agents API 的连接器、记忆与多智能体编排能力，读者可据此判断企业级智能体平台的搭建方式。
Hugging Face BlogAI 评分3434 Dell Enterprise Hub 新版发布：在本地用 Dell AI 服务器和 AI PC 构建 AI
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供可在本地部署和训练的模型与应用套件，支持 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型，Llama 4 在 Meta 公开发布后 1 小时内即上线。
OpenAI NewsAI 评分5858 OpenAI 推出 Stargate UAE，Stargate 首次海外部署
OpenAI 宣布推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首次国际部署。
Hugging Face BlogAI 评分3434 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示效果。
Hugging Face BlogAI 评分4242 微软与 Hugging Face 扩大合作，Azure AI Foundry 上线 1 万+ Hugging Face 模型
微软在 Build 大会上宣布扩大与 Hugging Face 的合作，Azure AI Foundry 的 Hugging Face Collection 现已提供 10,000+ 模型，可一键部署到 Azure 安全基础设施，覆盖文本、音频和图像任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Transformers 定位为跨框架模型定义标准
Hugging Face 在博客中表示，未来目标是让 Transformers 成为跨框架的枢纽，模型架构只要被 Transformers 支持，就能在生态其他工具中获得支持。
推荐理由：Hugging Face 官方说明 Transformers 将作为跨框架的模型定义中枢，读者可据此判断模型接入与部署链路的变化。
Hugging Face BlogAI 评分2222 Hugging Face 与 Kaggle 打通模型访问集成
Kaggle 上线与 Hugging Face 的集成，可直接在 Kaggle 上发现和使用 Hugging Face 模型。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 推出极速 Whisper 转录部署，性能提升 8 倍
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，转录性能较此前版本最高提升 8 倍，Whisper Large V3 的 RTFx 提升近 8 倍且转录质量无损。
Mistral AI精选AI 评分7474 Mistral AI 发布 Mistral Medium 3，主打低成本企业部署
Mistral AI 发布 Mistral Medium 3，称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上，成本为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，可据此判断企业自部署的成本与可行性。
Mistral AI精选AI 评分6060 Mistral AI 推出 Le Chat Enterprise，由 Mistral Medium 3 驱动
Mistral AI 发布 Le Chat Enterprise，一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手，包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能，全部功能将在未来两周内陆续上线。
推荐理由：官方给出 Le Chat Enterprise 的功能清单与部署选项，可据此判断企业级 AI 助手的落地方式。
Hugging Face BlogAI 评分2626 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重取整与截断范围，支持 INT2-INT8 低比特量化，INT2 下相对精度最高达主流基线 2.1 倍。
Hugging Face BlogAI 评分3636 并发请求下的 Prefill 与 Decode：优化 LLM 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
Hugging Face BlogAI 评分2222 Cohere 成为 Hugging Face Inference Providers 支持的首个模型厂商
Cohere 正式接入 Hugging Face Inference Providers，成为首个在 HF Hub 上直接分享并托管自家模型的模型厂商。用户现可通过 Cohere 在 Hub 上对 Command A、Command R7B、Aya Expanse 及 Aya Vision 等 9 款模型运行无服务器推理，其中 Command A 支持 256k 上下文窗口和 23 种语言。
Hugging Face BlogAI 评分3434 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Gradio 是面向机器学习模型的 UI 与 API 交互框架，所有 Gradio 应用同时是 API，官方提供 Python（gradio_client）和 JavaScript（@gradio/client）SDK 及 cURL 访问。
Mistral AIAI 评分2222 Mistral 如何用 LLM As A Judge 评估 RAG 系统
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝连接
Hugging Face 与 Cloudflare 达成合作，FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络，每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供，超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face BlogAI 评分3636 高效请求排队：优化 LLM 性能
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分4040 Hugging Face 将 Intel Gaudi 支持原生集成进 TGI
Hugging Face 通过 PR #3091 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference（TGI），取代此前独立的 tgi-gaudi 分支，支持 Gaudi1、Gaudi2、Gaudi3 全系硬件。
Hugging Face BlogAI 评分2222 Gradio 发布全新 gr.Dataframe 组件更新
Gradio 为 gr.Dataframe 组件发布大规模更新，6 周内关闭超 70 个 dataframe 相关问题。新功能包括多单元格选择、行号与列固定（pinned_columns）、复制与全屏按钮、搜索（show_search="search"）与过滤、静态列（static_columns）及键盘导航无障碍升级。
Hugging Face BlogAI 评分1818 Hugging Face Inference Endpoints 推出全新实时分析仪表盘
Hugging Face 为 Inference Endpoints 上线新版分析仪表盘，指标数据改为实时更新，并重构后端以加快高流量端点的数据加载速度。新仪表盘支持自定义时间范围与自动刷新，还新增副本生命周期视图，可追踪每个副本从初始化到终止的每次状态转换。官方表示仍在持续迭代并欢迎用户反馈。
Hugging Face BlogAI 评分4040 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Open R1 项目发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 Xet 存储上线 Hub，首批迁移 4.5 TB 仓库
Hugging Face 的 Xet 团队已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，2 月 20 日当天共迁移 4.5 TB，约 6% 的 Hub 下载流量转到 Xet 基础设施。
推荐理由：Hugging Face 官方复盘 Xet 存储首次迁移，给出分块去重带来的传输收益与两个生产环境问题的修复过程。
Hugging Face BlogAI 评分3434 如何在手机上通过 React Native 运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，指导开发者用 React Native 构建本地运行 LLM 的移动应用，通过 llama.rn（llama.cpp 的绑定）加载 GGUF 模型，从 Hugging Face hub 下载后完全离线运行。
Mistral AI精选AI 评分7777 Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错提取文本与图像，并作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，读者可据此判断它在文档解析与 RAG 流程中的位置。
OpenAI NewsAI 评分2222 OpenAI 如何将工程周期加速 20%
OpenAI 帮助将工程周期加速 20%。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 实现追踪与评估：通过 OpenTelemetry + OpenInference 自动捕获每一步调用，并可用 OpenAI GPT-4o 以 LLM-as-a-judge 方式评估 DuckDuckGo 搜索工具结果的相关性。
Hugging Face Blog精选AI 评分6969 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
Hugging Face BlogAI 评分3838 Hugging Face Diffusers 推出 Remote VAE：用 Inference Endpoints 远程解码
Hugging Face Diffusers 团队实验性推出 Remote VAE，将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints 执行，以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face BlogAI 评分2727 Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 或经 HF 路由调用，PRO 用户每月获 2 美元推理额度。
Hugging Face BlogAI 评分2222 Fireworks.ai 成为 HF Hub 支持的推理服务商
Fireworks.ai 正式成为 Hugging Face Hub 支持的推理服务商，可在模型页面及整个 HF 生态中提供无服务器推理。
Hugging Face BlogAI 评分4848 Hugging Face 博客：如何以最低成本完成 10 亿次分类与嵌入推理
Hugging Face 博客给出大规模分类与嵌入推理的成本测算框架，用 Inference Endpoints、Infinity 和 k6 在 nvidia-L4（$0.8/hr）上实测三类任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解 Xet 存储：从分块到块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队介绍其基于内容定义分块（CDC）的存储方案，通过将去重后的数据聚合为最大 64MB 的块、并用 shard 记录文件与块的映射，把 CAS 条目减少约 1000 倍，部分场景上传下载提速 2-3 倍。
推荐理由：Hugging Face 官方解释 Xet 存储如何用块级聚合替代逐块传输，读者可了解大文件上传下载提速的实现思路。
OpenAI NewsAI 评分2525 OpenAI 在欧洲推出数据驻留功能
OpenAI 面向欧洲客户推出数据驻留功能，允许其数据存储在本地。该功能建立在 OpenAI 面向全球客户的企业级数据隐私、安全与合规体系之上。