并发请求下的 Prefill 与 Decode：优化 LLM 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3636 Hugging Face BlogAI 评分3434 Gradio 不只是 UI 库：17 个理由解析其 AI 应用框架能力
Gradio 是面向机器学习模型的 UI 与 API 交互框架，所有 Gradio 应用同时是 API，官方提供 Python（gradio_client）和 JavaScript（@gradio/client）SDK 及 cURL 访问。
OpenAI NewsAI 评分2828 ChatGPT 如何用 canvas 从 PRD 快速做出 HTML/React 原型
ChatGPT 的 canvas 可用于把产品需求文档（PRD）直接转成可运行的 HTML/React 原型。演示展示了从 PRD 到原型稿的完整流程。
Mistral AIAI 评分2222 Mistral 如何用 LLM As A Judge 评估 RAG 系统
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。
Hugging Face BlogAI 评分2222 Gradio 月活开发者突破 100 万：从斯坦福演示工具到 AI 应用标准 UI
Gradio 月活开发者已超过 100 万，Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等热门开源项目均在使用。
Hugging Face BlogAI 评分2828 Hugging Face 的 NLP Course 升级并更名为 LLM Course
Hugging Face 将已运营 3 年的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face BlogAI 评分3636 高效请求排队：优化 LLM 性能
TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以应对多云环境下的 secret sprawl、权限管理和手动轮换难题。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，同时用 CLI 替代本地 .env 文件。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练与微调 Reranker 模型
Hugging Face 发布教程，介绍如何用 Sentence Transformers 库微调 reranker（Cross Encoder）模型，涵盖数据集、损失函数、训练参数、评估器与 Trainer 等组件。
Hugging Face BlogAI 评分4040 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Open R1 项目发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Hugging Face BlogAI 评分3434 如何在手机上通过 React Native 运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，指导开发者用 React Native 构建本地运行 LLM 的移动应用，通过 llama.rn（llama.cpp 的绑定）加载 GGUF 模型，从 Hugging Face hub 下载后完全离线运行。
Mistral AIAI 评分2727 Mistral AI 用智能体工作流自动生成 PRD 与工程任务
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流，由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成，可将会议转录自动生成 PRD 并转化为结构化开发工单，自动在 Linear、Jira 等项目管理工具中创建。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 实现追踪与评估：通过 OpenTelemetry + OpenInference 自动捕获每一步调用，并可用 OpenAI GPT-4o 以 LLM-as-a-judge 方式评估 DuckDuckGo 搜索工具结果的相关性。
Hugging Face BlogAI 评分4848 Hugging Face 博客：如何以最低成本完成 10 亿次分类与嵌入推理
Hugging Face 博客给出大规模分类与嵌入推理的成本测算框架，用 Inference Endpoints、Infinity 和 k6 在 nvidia-L4（$0.8/hr）上实测三类任务。
Hugging Face BlogAI 评分4242 Hugging Face 发布视频生成数据集构建工具链
Hugging Face 开源了一套三阶段视频数据集构建工具链，用于微调视频生成模型。该工具链支持 yt-dlp 下载、LAION-5B-WatermarkDetection 水印检测、improved-aesthetic-predictor 美学评分、Falconsai/nsfw_image_detection 内容过滤，并用 Florence-2 生成帧级描述。
OpenAI NewsAI 评分2222 用 ChatGPT 打造自定义数学辅导工具
OpenAI 介绍如何基于 ChatGPT 构建自定义数学辅导工具，将 ChatGPT 的通用对话能力与个人辅导场景结合。文章围绕个性化辅导这一方向展开，未披露具体模型版本、参数规模或可用性信息。
Hugging Face Blog精选AI 评分6060 Mini-R1：用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment
作者用 GRPO 和 Countdown Game 训练 Qwen2.5-3B-Instruct，在 4x H100 上复现 DeepSeek R1 的 aha moment，450 步后解题成功率约 50%。
推荐理由：完整复现流程与训练观察，读者可据此理解 GRPO 如何让模型自发形成推理格式。
Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型，包括 DeepSeek-R1-Zero、DeepSeek-R1 及 6 个基于 Llama 和 Qwen 架构蒸馏的密集模型。
Hugging Face Blog精选AI 评分6262 Diffusers 团队盘点开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布文章，梳理开源视频生成模型现状，并介绍 Diffusers 对这类模型的支持与优化方案。文章列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX Video 等开源模型，指出高资源需求、泛化能力和延迟是主要限制。
推荐理由：梳理开源视频生成模型现状与 Diffusers 的显存优化组合，可据此估算本地部署成本。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分4040 Hugging Face 推出 TimmWrapper：在 transformers 中直接使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码配合 BitsAndBytesConfig 完成 8bit 量化，并支持 torch.compile 加速推理与 LoRA 适配器微调，微调后模型还能回到 timm 使用。
Hugging Face Blog精选AI 评分6262 用 Sentence Transformers 训练快 400 倍的静态嵌入模型
Hugging Face 发布方法，用 Sentence Transformers 训练静态嵌入模型，在 CPU 上比主流嵌入模型快 100 到 400 倍，同时保留大部分质量。
推荐理由：原文公开了静态嵌入模型的完整训练配方与两个已发布模型，读者可据此在 CPU 上复现高效嵌入方案。
Hugging Face Blog精选AI 评分6262 如何可视化并理解 PyTorch 训练中的 GPU 显存占用
Hugging Face 发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练中的 GPU 显存使用。
推荐理由：文章用 PyTorch 内存快照拆解训练各阶段显存占用，并给出可复用的显存估算公式。
Hugging Face BlogAI 评分4040 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可控制序列长度、强制关键短语、引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。该库通过直接修改语言模型头部的预测分数实现细粒度控制，安装命令为 pip install logits-processor-zoo。
Hugging Face BlogAI 评分2222 Hugging Face 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Xeon，Emerald Rapids，支持 AMX）与 N2（第 3 代 Xeon，Ice Lake，仅 AVX-512）两款 96 vCPU 实例上，对文本嵌入和文本生成两类智能体 AI 负载做了对比。
Hugging Face BlogAI 评分3434 LLM 修复自身错误的能力如何？一项基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio 界面并行对话。
Hugging Face BlogAI 评分2222 CFM 如何用 LLM 辅助标注微调小模型，将金融 NER 成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融 NER 任务上准确率最高提升 6.4%，推理成本较大模型降低最多 80 倍。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步迭代改进位置编码方案，最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Self-Speculative Decoding：用 LayerSkip 加速文本生成
Hugging Face 介绍了基于 LayerSkip 的 self-speculative decoding，用同一 LLM 的早期层生成 draft token、深层验证，从而加速文本生成并节省显存。
Hugging Face BlogAI 评分2222 Digital Green 用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系，用于评估其 RAG 管线的回答质量。
Hugging Face BlogAI 评分3838 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）级联流水线，整合 VAD、STT、语言模型与 TTS，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
Hugging Face BlogAI 评分3636 Keras 中的 Llama 3.2：从第一天起即可用
Keras 从第一天起就支持 Llama 3.2，可直接从 Hugging Face 的 safetensors checkpoint 加载，包括 3.2 版本，需要转换时即时完成。
Hugging Face BlogAI 评分4242 Hugging Face 修复 Transformers 梯度累积损失计算问题
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题，该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失，并新增 loss_function 属性与 LOSS_MAPPING，允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 pandas 的 100 行扩展到云端多 GPU 的 2.11 亿行。
Hugging Face BlogAI 评分2222 Hugging Face 如何提升 Hub 上 Parquet 文件的去重效率
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 1 万行可去重 99.1%，仅多占 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则使后半文件全部重写。团队提出改用相对偏移量、按行组做内容定义分块两种改进思路，并希望与 Apache Arrow 社区合作落地。
Hugging Face BlogAI 评分3434 如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程，介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库，一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件，并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理，再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face BlogAI 评分2222 Hugging Face Daily Papers 页面功能全解析
Hugging Face 的 Daily Papers 页面已收录超 3,700 篇论文、订阅者超 12k，作者可一键认领论文并关联到自己的账号。用户还能提交论文、在评论区与作者直接对话，并通过 @librarian-bot 获取相似论文推荐。页面支持多语言评论与翻译，并可将论文关联的模型、数据集和 demo 集中展示。
Hugging Face BlogAI 评分2222 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6060 如何把 LLM 微调到 1.58bit：BitNet 极端量化实践
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，无需从零预训练。他们用 BitNet 架构微调 Llama3 8B，其中两个模型在 10B tokens 上微调、第三个在 100B tokens 上微调，模型以 HF1BitLLM 组织发布，在 MMLU 上超过 Llama 1 7B。
推荐理由：原文给出把已有 Llama3 8B 微调到 1.58bit 的完整流程与踩坑记录，可迁移到其他模型的低比特微调。
OpenAI NewsAI 评分1212 OpenAI 分享数百次成功部署的经验：让 AI 投入实际工作
OpenAI 基于数百次成功部署经验，总结出让 AI 投入实际工作的方法。内容聚焦企业落地 AI 的实践教训，而非新模型或产品发布。