并发请求下的 Prefill 与 Decode：优化 LLM 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
#Hugging Face
#Hugging Face
今日 4 条Hugging Face BlogAI 评分3636 Hugging Face BlogAI 评分2222 Cohere 成为 Hugging Face Inference Providers 支持的首个模型厂商
Cohere 正式接入 Hugging Face Inference Providers，成为首个在 HF Hub 上直接分享并托管自家模型的模型厂商。用户现可通过 Cohere 在 Hub 上对 Command A、Command R7B、Aya Expanse 及 Aya Vision 等 9 款模型运行无服务器推理，其中 Command A 支持 256k 上下文窗口和 23 种语言。
Hugging Face BlogAI 评分3939 HELMET：全面评估长上下文语言模型的基准
Hugging Face 博客介绍 HELMET（How to Evaluate Long-Context Models Effectively and Thoroughly），一个从多样性、可控性和可靠性三方面改进现有方案的长上下文语言模型评测基准，已评估 59 个近期 LCLM。
Hugging Face BlogAI 评分3434 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Gradio 是面向机器学习模型的 UI 与 API 交互框架，所有 Gradio 应用同时是 API，官方提供 Python（gradio_client）和 JavaScript（@gradio/client）SDK 及 cURL 访问。
Hugging Face BlogAI 评分4242 Protect AI 与 Hugging Face 合作半年：扫描 447 万个模型版本，发现 35.2 万个安全问题
Protect AI 与 Hugging Face 合作半年，截至 2025 年 4 月 1 日已扫描 Hugging Face Hub 上 141 万个仓库中的 447 万个模型版本，在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 Pollen Robotics，开卖开源机器人 Reachy 2
Hugging Face 宣布收购成立 9 年的开源机器人公司 Pollen Robotics，这是其第五次收购，此前曾收购 Gradio 和 XetHub。
推荐理由：Hugging Face 收购 Pollen Robotics 并开卖 Reachy 2，读者可了解开源机器人从代码库走向硬件销售的变化。
Hugging Face BlogAI 评分4040 Visual Salamandra 发布：将 7B 多语言 LLM 扩展至图像与视频
Language Technologies Lab 发布 Visual Salamandra，将 Salamandra Instructed 7B 大语言模型扩展至图像和视频多模态任务。
Hugging Face BlogAI 评分4747 Hugging Face 与 Cloudflare 合作，用 FastRTC 实现实时语音与视频无缝连接
Hugging Face 与 Cloudflare 达成合作，FastRTC 开发者凭 Hugging Face Access Token 即可免费使用 Cloudflare 覆盖 335 个地点的全球 TURN 网络，每月免费传输 10GB 数据且无需信用卡。该集成将在 FastRTC 0.0.20 及以上版本中提供，超出限额后可切换至 Cloudflare 账户扩容。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出 Arabic-Leaderboards，新增阿拉伯语指令遵循评测
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台，目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
Hugging Face Blog精选AI 评分8888 Llama 4 Maverick 与 Scout 上线 Hugging Face
Meta 发布 Llama 4 Maverick（约 400B 总参数）和 Llama 4 Scout（约 109B 总参数）两款 MoE 模型，均为 17B 激活参数，原生支持文本与图像输入，已在 Hugging Face Hub 上线。
推荐理由：文章给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节，便于判断其部署门槛与长上下文能力。
Hugging Face BlogAI 评分2222 Gradio 月活开发者突破 100 万：从斯坦福演示工具到 AI 应用标准 UI
Gradio 月活开发者已超过 100 万，Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等热门开源项目均在使用。
Hugging Face BlogAI 评分2828 Hugging Face 的 NLP Course 升级并更名为 LLM Course
Hugging Face 将已运营 3 年的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face BlogAI 评分3636 高效请求排队：优化 LLM 性能
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分4040 Hugging Face 将 Intel Gaudi 支持原生集成进 TGI
Hugging Face 通过 PR #3091 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference（TGI），取代此前独立的 tgi-gaudi 分支，支持 Gaudi1、Gaudi2、Gaudi3 全系硬件。
Hugging Face Blog精选AI 评分7676 Hugging Face 解读 DeepSeek-V3 0324：改用 MIT 许可，数学与代码基准大幅提升
DeepSeek-V3 0324 本周上线 Hugging Face Hub，架构与初代 DeepSeek-V3 相同，但许可从自定义协议改为 MIT，改进重点是指令遵循、代码与数学能力。
推荐理由：梳理了 DeepSeek-V3 0324 的基准提升与 MIT 许可变化，并给出多种本地部署与量化运行方式。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练与微调 Reranker 模型
Hugging Face 发布教程，介绍如何用 Sentence Transformers 库微调 reranker（Cross Encoder）模型，涵盖数据集、损失函数、训练参数、评估器与 Trainer 等组件。
Hugging Face BlogAI 评分2222 Gradio 发布全新 gr.Dataframe 组件更新
Gradio 为 gr.Dataframe 组件发布大规模更新，6 周内关闭超 70 个 dataframe 相关问题。新功能包括多单元格选择、行号与列固定（pinned_columns）、复制与全屏按钮、搜索（show_search="search"）与过滤、静态列（static_columns）及键盘导航无障碍升级。
Hugging Face BlogAI 评分1818 Hugging Face Inference Endpoints 推出全新实时分析仪表盘
Hugging Face 为 Inference Endpoints 上线新版分析仪表盘，指标数据改为实时更新，并重构后端以加快高流量端点的数据加载速度。新仪表盘支持自定义时间范围与自动刷新，还新增副本生命周期视图，可追踪每个副本从初始化到终止的每次状态转换。官方表示仍在持续迭代并欢迎用户反馈。
Hugging Face BlogAI 评分4040 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Open R1 项目发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分2222 Hugging Face 向白宫 AI 行动计划 RFI 提交回应：力挺开源与开放科学
Hugging Face 于 3 月 14 日向白宫 OSTP 的 AI 行动计划 RFI 提交回应，主张开放 AI 系统与开放科学是提升性能、采用率和安全性的基础。
Hugging Face Blog精选AI 评分7171 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果：世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由：NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型，读者可据此了解物理 AI 开发可用的工具链。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 Xet 存储上线 Hub，首批迁移 4.5 TB 仓库
Hugging Face 的 Xet 团队已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，2 月 20 日当天共迁移 4.5 TB，约 6% 的 Hub 下载流量转到 Xet 基础设施。
推荐理由：Hugging Face 官方复盘 Xet 存储首次迁移，给出分块去重带来的传输收益与两个生产环境问题的修复过程。
Mistral AI精选AI 评分7171 Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/秒，并以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格，便于判断小模型端侧部署的取舍。
Hugging Face Blog精选AI 评分8282 Google 发布 Gemma 3 开源模型：多模态、多语言、128k 上下文
Google 发布 Gemma 系列新模型 Gemma 3，提供 1B、4B、12B、27B 四种尺寸，含预训练与指令微调版本。其中 4B、12B、27B 支持图像与文本输入，上下文窗口达 128k，支持 140 多种语言，1B 版本仅支持文本、上下文 32k。
推荐理由：梳理 Gemma 3 的四种尺寸、多模态与 128k 上下文等规格，并给出 transformers 与端侧推理的可用入口。
Hugging Face Blog精选AI 评分6767 Open R1 更新第三期：发布 OlympicCoder 7B/32B 代码模型与 IOI 基准
Hugging Face 的 Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个代码模型，基于 Qwen2.5 Coder Instruct 微调，在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型，OlympicCoder-32B 还超过 o1-mini 和 DeepSeek-R1。
推荐理由：Open R1 复现 R1 代码推理配方，给出数据集、IOI 基准与两个开源模型，并附训练经验。
Hugging Face Blog精选AI 评分7575 LeRobot 与 Yaak 发布 L2D：全球最大开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D（Learning to Drive），称其为全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 座城市的 60 辆驾校车辆。
推荐理由：L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放，读者可据此判断端到端自动驾驶数据集的规模与可用性。
Hugging Face BlogAI 评分3434 如何在手机上通过 React Native 运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，指导开发者用 React Native 构建本地运行 LLM 的移动应用，通过 llama.rn（llama.cpp 的绑定）加载 GGUF 模型，从 Hugging Face hub 下载后完全离线运行。
Hugging Face BlogAI 评分3232 Hugging Face 与 JFrog 合作提升 AI 模型安全透明度
Hugging Face 宣布与 JFrog 合作，将 JFrog 扫描器集成到 Hugging Face Hub，用于检测模型权重中的恶意代码。相比仅对模块名做模式匹配的 picklescan，JFrog 会解析并分析模型权重中的代码，以减少误报，并覆盖 pickle 之外的更多文件格式。所有公开模型仓库在推送文件后将自动被扫描，无需额外操作。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型，包含 8B 和 32B 两个版本，覆盖 23 种语言。32B 版本在 AyaVisionBench 和 mWildVision 的成对比较中，对 Llama-3.2 90B Vision、Molmo 72B、Qwen2.5-VL 72B 等参数量超过自身两倍的模型取得 50% 至 64% 的胜率。
推荐理由：原文给出 8B 与 32B 两个开源权重的多语言视觉语言模型及训练细节，读者可据此判断小参数模型在多语言多模态上的位置。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 实现追踪与评估：通过 OpenTelemetry + OpenInference 自动捕获每一步调用，并可用 OpenAI GPT-4o 以 LLM-as-a-judge 方式评估 DuckDuckGo 搜索工具结果的相关性。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推动印度多语言模型构建
Hugging Face 与印度科学研究所（IISc）及 ARTPARK 达成合作，旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起，目标采集超 15 万小时语音和 1.5 万小时转写文本，覆盖全印 773 个地区、100 万人，目前已开源 790 小时转写音频，涵盖 54 种语言。
Hugging Face Blog精选AI 评分6969 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个用 Python 构建实时音频和视频 AI 应用的通信库，内置自动语音检测与轮次切换、WebRTC 与 Websocket 支持，以及可直接测试的 Gradio UI。
推荐理由：原文给出 FastRTC 的核心能力与最小示例，读者可据此判断在 Python 中搭建实时语音应用的接入成本。
Hugging Face BlogAI 评分3838 Hugging Face Diffusers 推出 Remote VAE：用 Inference Endpoints 远程解码
Hugging Face Diffusers 团队实验性推出 Remote VAE，将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints 执行，以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face Blog精选AI 评分6262 Google 发布 SigLIP 2 多语言视觉语言编码器
Google 发布 SigLIP 2 系列多语言视觉语言编码器，在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标，在零样本分类、图文检索和视觉表征迁移上均优于旧版 SigLIP。
推荐理由：梳理 SigLIP 2 相比前代新增的训练目标与 naflex 动态分辨率变体，便于判断视觉编码器的选型。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 SmolVLM2 视频理解模型，含 2.2B、500M 和 256M 三个尺寸
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三个参数规模，并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由：Hugging Face 发布三档小尺寸视频理解模型，并给出 MLX 与 Transformers 的即用示例，可据此判断端侧视频理解的门槛变化。
Hugging Face BlogAI 评分2727 Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 或经 HF 路由调用，PRO 用户每月获 2 美元推理额度。
Hugging Face Blog精选AI 评分6060 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案，替换后模型平均多解出 61 道题，MATH 子集平均提升 4.66 分，Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由：原文给出评测器替换前后的具体差异与榜单变化，读者可据此判断数学评测口径对模型排名的影响。
Hugging Face BlogAI 评分2222 Fireworks.ai 成为 HF Hub 支持的推理服务商
Fireworks.ai 正式成为 Hugging Face Hub 支持的推理服务商，可在模型页面及整个 HF 生态中提供无服务器推理。
Hugging Face BlogAI 评分4848 Hugging Face 博客：如何以最低成本完成 10 亿次分类与嵌入推理
Hugging Face 博客给出大规模分类与嵌入推理的成本测算框架，用 Inference Endpoints、Infinity 和 k6 在 nvidia-L4（$0.8/hr）上实测三类任务。