用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践
Hugging Face 博客发布三部分系列文章，记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由：记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程，对端侧部署有可迁移的参考价值。
#教程/实践
#教程/实践
今日 4 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3131 在 Intel Core Ultra 上用深度剪枝草稿模型加速 Qwen3-8B 智能体
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上为 Qwen3-8B 智能体做推测解码加速，以 Qwen3-0.6B 为草稿模型先取得约 1.3× 提速，再通过剪掉 28 层中的 6 层并用 Qwen3-8B 生成的合成数据微调，将提速提升至约 1.4×。
Hugging Face BlogAI 评分5050 VibeGame：探索 Vibe Coding 游戏开发
Hugging Face 发布 VibeGame，一个基于 three.js、rapier 和 bitecs 构建的高层声明式游戏引擎，专为 AI 辅助游戏开发设计。
Hugging Face BlogAI 评分5050 Hugging Face 推出 SyGra：面向 LLM 与 SLM 的一站式数据构建框架
Hugging Face 发布低代码/无代码框架 SyGra，用于为 LLM 和 SLM 构建、转换与对齐数据集。该框架提供 Python 库，支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端，可生成 Q&A、DPO 偏好对、推理及多语言数据。
Hugging Face BlogAI 评分5858 Hugging Face 详解 transformers 为 gpt-oss 引入的优化技巧
Hugging Face 博客介绍了为支持 OpenAI gpt-oss 系列而在 transformers 中做的一系列升级，包括可从 Hub 下载的零构建内核、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存、连续批处理与分页注意力，以及更快的模型加载。
Hugging Face Blog精选AI 评分6060 如何用 PyTorch 提前编译让 ZeroGPU Spaces 提速
Hugging Face 发布教程，介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译（AoT）替代 torch.compile，避免短生命周期进程反复编译，在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。
推荐理由：Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据，可直接迁移到自己的 Space。
Hugging Face BlogAI 评分3838 如何通过 Hugging Face Spaces 让 Claude 生成图像
将 Claude 连接 Hugging Face MCP Server 后，可直接调用 ZeroGPU Spaces 上的图像生成模型。FLUX.1 Krea [dev] 主打消除"AI 感"，输出更接近专业摄影的真实质感；Qwen-Image 擅长遵循提示词与准确渲染文字，适合海报、标牌等信息图设计。用户可在 MCP 设置中添加对应 Space 工具，并同时启用两者对比效果。
Hugging Face BlogAI 评分3838 Hugging Face 教程：如何用 MCP 将 AI 连接到研究工具
Hugging Face 发布教程，介绍如何通过 Model Context Protocol（MCP）让 AI 用自然语言调用研究工具，自动完成论文、代码、模型与数据集的跨平台检索。用户可在 Hugging Face MCP Settings 中添加 research-tracker-mcp，支持 Claude Desktop、Cursor、Claude Code、VS Code 等客户端。
Hugging Face BlogAI 评分4848 从零到 GPU：构建与扩展生产级 CUDA Kernel 指南
Hugging Face 发布 kernel-builder 库，让开发者可在本地开发自定义 CUDA kernel，再为多种架构构建并通过 Hub 分发。指南以 RGB 转灰度 kernel 为例，演示用 PyTorch 现代 C++ API 将函数注册为原生算子，从而兼容 torch.compile 并支持硬件特定实现。
Hugging Face BlogAI 评分3838 Accelerate ND-Parallel 指南：如何高效进行多 GPU 训练
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel，可通过 ParallelismConfig 组合数据并行、FSDP、张量并行与上下文并行等多种策略。
Mistral AIAI 评分4040 Mistral 微调 Pixtral-12B 提升卫星图像分类能力
Mistral 用 LoRA 微调 Pixtral-12B，在 Aerial Image Dataset（AID）卫星图像分类任务上显著优于基座模型。基座模型在 Playground、Stadium 等易混类别上出错，还会幻觉出不存在的类别名；微调后分类指标提升，且无需大量超参数调优，可通过 Mistral 微调 API 或 LaPlateforme UI 完成。
Hugging Face BlogAI 评分3636 用 Python 实现 MCP 服务器：基于 Gradio 与 IDM-VTON 的 AI 购物助手
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手，将函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试穿，并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器，让 LLM 能浏览线上服装店并生成试穿效果图。
OpenAI NewsAI 评分1818 Intercom 打造可持续 AI 优势的三条经验
Intercom 分享了构建可扩展 AI 平台的三条经验，涵盖评估体系与架构设计，目标是引领客户支持的未来。
Hugging Face BlogAI 评分3434 Hugging Face 为 Parquet 引入内容定义分块（CDC）
Hugging Face 在 PyArrow 和 Pandas 中上线 Parquet 内容定义分块（CDC）功能，配合 Xet 存储层实现 Parquet 文件去重，仅上传或下载发生变化的 chunk，从而降低数据传输与存储成本。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 PEFT 实现 Flux 的快速 LoRA 推理
Hugging Face 发布教程，介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度，在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速，并借助 hotswap 避免重新编译。
推荐理由：原文给出 Flux LoRA 推理的完整优化配方与实测数据，读者可据此在 H100 或消费级 GPU 上复现加速。
Hugging Face BlogAI 评分4040 Hugging Face 详解异步机器人推理：解耦动作预测与执行
Hugging Face 发布博客详解异步机器人推理，通过将动作预测与执行解耦，让机器人在等待新动作块计算时持续执行当前动作，实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face BlogAI 评分5252 Hugging Face 如何构建官方 MCP Server
Hugging Face 发布官方 MCP Server（hf.co/mcp），通过一个 URL 让 AI 助手访问 Hub 及数千个 Spaces 应用，并支持用户自定义工具。
Hugging Face BlogAI 评分3434 Hugging Face 与 AMD 为 MI300X 打造自定义内核，优化 Llama 3.1 405B FP8 推理
Hugging Face 与 AMD 合作，为 AMD MI300X 编写自定义内核，在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
Hugging Face Blog精选AI 评分6262 用 Gradio MCP Servers 为 LLM 添加新能力
Hugging Face 博客介绍如何通过 Gradio 的 MCP 支持，把 Hugging Face Spaces 上的数千个 AI 应用接入 LLM 作为工具使用。
推荐理由：以 Flux.1 Kontext 为例演示如何把 Hugging Face Spaces 上的 MCP 服务器接入 LLM，方法可直接复用。
Hugging Face BlogAI 评分3838 Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法
Hugging Face 以 nanoVLM 项目为例，展示如何用五阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用，随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Hugging Face BlogAI 评分1515 Hugging Face 生产基础设施背后的三大关键告警
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制，分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。其中 NAT 网关吞吐量告警采用静态阈值，用于捕捉流量异常并提示团队优化网络路径与成本。日志归档链路则依托 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Hugging Face BlogAI 评分3434 用 Sentence Transformers 训练和微调稀疏嵌入模型
Sentence Transformers 现已支持训练和微调稀疏嵌入模型，可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型，尤其适合混合搜索或检索重排场景。
Hugging Face Blog精选AI 评分6262 在消费级硬件上用 QLoRA 微调 FLUX.1-dev
Hugging Face 发布教程，介绍如何用 QLoRA 配合 diffusers 在单张 GPU 上微调 FLUX.1-dev，峰值显存约 10GB 以内。
推荐理由：给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存实测数据，方法可直接复用。
Hugging Face BlogAI 评分2828 长提示词如何阻塞其他请求：优化 LLM 性能
TNG 在 24 张 H100 上自托管多个大语言模型，每日消耗超 1 亿 token、生成超 1000 万 token，其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求，导致首 token 延迟升高。
Hugging Face BlogAI 评分5252 5 分钟上手 Hugging Face Kernel Hub
Hugging Face 发布 Kernel Hub，允许 Python 库和应用通过 kernels 库的 get_kernel 函数直接从 Hub 加载预编译的优化计算 kernel，无需本地编译。
Hugging Face Blog精选AI 评分6262 如何用 LeRobot SO-101 机械臂后训练 Isaac GR00T N1.5
NVIDIA 发布 Isaac GR00T N1.5，这是 Isaac GR00T N1 的首次重大更新，可通过后训练适配具体本体、任务和环境。博客给出完整教程，演示如何用单台 SO-101 机械臂的遥操作数据微调 GR00T N1.5，涵盖环境安装、数据集准备、微调、开环评估和真机部署五步。
推荐理由：原文给出用单臂遥操作数据微调 GR00T N1.5 的完整命令流程，可迁移到其他机器人本体。
Hugging Face BlogAI 评分2222 nanoVLM 从零实现 KV Cache，生成速度提升 38%
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache，使自回归生成速度提升 38%。该实现覆盖 Attention 块、逐层缓存的语言模型以及区分 prefill 与 decode 阶段的生成循环，经验可推广到所有自回归语言模型推理。
Hugging Face BlogAI 评分2727 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具，无需 GPU 和云端推理，输入提示词几秒内即可生成 .wav 文件并直接导入 Ableton Live。该工具基于 PyTorch 和 TorchAudio，采用多线程优化，扩散采样步数降至 7 步，也支持 Metal 和 CUDA 设备。
Hugging Face Blog精选AI 评分6262 TRL 引入 vLLM 同卡部署，GRPO 训练吞吐最高提升 1.73 倍
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署（colocate），训练和推理共享同一批 GPU 并轮流执行，不再需要单独的推理服务器。
推荐理由：TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上，读者可据此判断在线学习训练的显存与吞吐取舍。
Hugging Face BlogAI 评分1212 Liger GRPO 与 TRL 集成在 DeepSpeed ZeRO3 下出现形状不匹配
用户在使用 Qwen2.5-0.5B-Instruct 以 bf16 精度结合 DeepSpeed ZeRO3 测试 Liger GRPO loss 时，于 TRL 的 GRPO Trainer 中触发形状不匹配报错。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python Tiny Agents：约 70 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Python 版 Tiny Agents，将 huggingface_hub 客户端 SDK 扩展为 MCP Client，可从 MCP 服务器拉取工具并在推理时传给 LLM，核心智能体代码约 70 行。
推荐理由：Hugging Face 把 MCP 客户端并入 huggingface_hub，读者可据此用约 70 行代码搭出可复用工具调用的智能体。
Hugging Face BlogAI 评分3434 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示效果。
Hugging Face Blog精选AI 评分6060 Hugging Face 开源 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，可在免费 Colab 上启动训练，灵感来自 nanoGPT。
推荐理由：Hugging Face 开源 nanoVLM，用纯 PyTorch 和可读代码把 VLM 训练流程拆解到可复现，适合想理解多模态对齐细节的读者。
Hugging Face BlogAI 评分2828 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face BlogAI 评分3838 LeRobot 社区数据集：机器人领域的“ImageNet”——何时与如何实现？
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长，目标是打造机器人领域的“ImageNet”，将泛化视为数据问题而非单纯的模型能力问题。
Hugging Face Blog精选AI 评分6262 如何用 Gradio 构建 MCP Server
Gradio 官方发布指南，介绍如何用几行 Python 把 Gradio 应用启动为 MCP Server，让 LLM 以工具形式调用其中的函数。只需在 launch() 中设置 mcp_server=True，函数 docstring 会自动生成工具描述与参数，MCP 端点位于 /gradio_api/mcp/sse，可配置到 Cursor、Cline 等 MCP 客户端。
推荐理由：Gradio 官方给出把任意 Python 函数变成 MCP 工具的最短路径，并列出资源、提示词与鉴权等新增能力。
Hugging Face BlogAI 评分3636 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有 4 处关键变化：通过 enable_thinking 标志可开关推理，设为 false 时模板插入空对以跳过逐步思考，而 QwQ 强制每轮推理。
Hugging Face BlogAI 评分2626 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重取整与截断范围，支持 INT2-INT8 低比特量化，INT2 下相对精度最高达主流基线 2.1 倍。
Hugging Face Blog精选AI 评分6767 Tiny Agents：用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents 教程，用约 50 行 TypeScript 代码在 InferenceClient 之上实现 MCP 客户端与智能体，核心逻辑是工具调用加一个 while 循环。
推荐理由：作者以 Hugging Face 官方 SDK 为例，展示 MCP 客户端加一个 while 循环即可构成智能体，可迁移到自己的工具链。
Hugging Face BlogAI 评分3838 TNG 微调 olmOCR-7B-0225-preview 打造忠实 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎，解决了原模型忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，使模型能完整提取发票等文档的页眉页脚内容并保留表格解析能力。该微调模型已在 Hugging Face 开源。