如何在 Intel CPU 上三步运行 SmolVLM 视觉语言模型
Hugging Face 发布教程,介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上三步本地运行 SmolVLM2-256M-Video-Instruct 视觉语言模型,无需 GPU。第一步将模型转换为 OpenVINO IR,第二步用 8-bit 权重量化或静态量化压缩模型,第三步执行推理,并可通过 device="gpu" 在 Intel GPU 上加载。
Hugging Face 发布教程,介绍用 Optimum Intel 和 OpenVINO 在 Intel CPU 上三步本地运行 SmolVLM2-256M-Video-Instruct 视觉语言模型,无需 GPU。第一步将模型转换为 OpenVINO IR,第二步用 8-bit 权重量化或静态量化压缩模型,第三步执行推理,并可通过 device="gpu" 在 Intel GPU 上加载。
Hugging Face 博客发布三部分系列文章,记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由:记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程,对端侧部署有可迁移的参考价值。
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上为 Qwen3-8B 智能体做推测解码加速,以 Qwen3-0.6B 为草稿模型先取得约 1.3× 提速,再通过剪掉 28 层中的 6 层并用 Qwen3-8B 生成的合成数据微调,将提速提升至约 1.4×。
Hugging Face 发布 VibeGame,一个基于 three.js、rapier 和 bitecs 构建的高层声明式游戏引擎,专为 AI 辅助游戏开发设计。
Hugging Face 发布 Smol2Operator,用两阶段训练把无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成可操作图形界面的智能体,在 ScreenSpot-v2 上从 0% 提升到 61.71%。
Hugging Face 发布低代码/无代码框架 SyGra,用于为 LLM 和 SLM 构建、转换与对齐数据集。该框架提供 Python 库,支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,可生成 Q&A、DPO 偏好对、推理及多语言数据。
Hugging Face 博客介绍了为支持 OpenAI gpt-oss 系列而在 transformers 中做的一系列升级,包括可从 Hub 下载的零构建内核、MXFP4 量化、张量并行、专家并行、动态滑动窗口缓存、连续批处理与分页注意力,以及更快的模型加载。
Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育质量打分、QA 与轨迹生成后得到 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B。
推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与脚手架改动,可迁移到其他小模型智能体训练。
Hugging Face 发布教程,介绍如何在 ZeroGPU Spaces 中用 PyTorch 提前编译(AoT)替代 torch.compile,避免短生命周期进程反复编译,在 Flux、Wan、LTX 等模型上取得 1.3×–1.8× 加速。
推荐理由:Hugging Face 官方给出 ZeroGPU 上 AoT 编译的完整接入步骤与实测加速数据,可直接迁移到自己的 Space。
将 Claude 连接 Hugging Face MCP Server 后,可直接调用 ZeroGPU Spaces 上的图像生成模型。FLUX.1 Krea [dev] 主打消除"AI 感",输出更接近专业摄影的真实质感;Qwen-Image 擅长遵循提示词与准确渲染文字,适合海报、标牌等信息图设计。用户可在 MCP 设置中添加对应 Space 工具,并同时启用两者对比效果。
Hugging Face 发布教程,介绍如何通过 Model Context Protocol(MCP)让 AI 用自然语言调用研究工具,自动完成论文、代码、模型与数据集的跨平台检索。用户可在 Hugging Face MCP Settings 中添加 research-tracker-mcp,支持 Claude Desktop、Cursor、Claude Code、VS Code 等客户端。
Hugging Face 发布 kernel-builder 库,让开发者可在本地开发自定义 CUDA kernel,再为多种架构构建并通过 Hub 分发。指南以 RGB 转灰度 kernel 为例,演示用 PyTorch 现代 C++ API 将函数注册为原生算子,从而兼容 torch.compile 并支持硬件特定实现。
Hugging Face 在 Accelerate 中联合 Axolotl 集成了 ND-Parallel,可通过 ParallelismConfig 组合数据并行、FSDP、张量并行与上下文并行等多种策略。
Hugging Face 的 TRL 新增面向视觉语言模型的对齐方法,包括混合偏好优化 MPO、多模态 GRPO 以及 Qwen 提出的 GSPO,并扩展 RLOO 和 Online DPO 支持 VLM。
推荐理由:TRL 新增多种多模态对齐算法与原生 SFT 支持,读者可据此判断 VLM 后训练工具链的可用范围。
Mistral 用 LoRA 微调 Pixtral-12B,在 Aerial Image Dataset(AID)卫星图像分类任务上显著优于基座模型。基座模型在 Playground、Stadium 等易混类别上出错,还会幻觉出不存在的类别名;微调后分类指标提升,且无需大量超参数调优,可通过 Mistral 微调 API 或 LaPlateforme UI 完成。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试穿,并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器,让 LLM 能浏览线上服装店并生成试穿效果图。
Intercom 分享了构建可扩展 AI 平台的三条经验,涵盖评估体系与架构设计,目标是引领客户支持的未来。
Hugging Face 在 PyArrow 和 Pandas 中上线 Parquet 内容定义分块(CDC)功能,配合 Xet 存储层实现 Parquet 文件去重,仅上传或下载发生变化的 chunk,从而降低数据传输与存储成本。
Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化实现约 2.23 倍加速,并借助 hotswap 避免重新编译。
推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或消费级 GPU 上复现加速。
Hugging Face 发布博客详解异步机器人推理,通过将动作预测与执行解耦,让机器人在等待新动作块计算时持续执行当前动作,实现约 2 倍任务完成速度提升且成功率相当。
Hugging Face 发布官方 MCP Server(hf.co/mcp),通过一个 URL 让 AI 助手访问 Hub 及数千个 Spaces 应用,并支持用户自定义工具。
Hugging Face 与 AMD 合作,为 AMD MI300X 编写自定义内核,在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
Hugging Face 博客介绍如何通过 Gradio 的 MCP 支持,把 Hugging Face Spaces 上的数千个 AI 应用接入 LLM 作为工具使用。
推荐理由:以 Flux.1 Kontext 为例演示如何把 Hugging Face Spaces 上的 MCP 服务器接入 LLM,方法可直接复用。
Hugging Face 以 nanoVLM 项目为例,展示如何用五阶段构建高效多模态数据管道,解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被空 token 占用,随后通过约束填充、背包算法打包和 ConstantLengthDataset 逐步优化。
Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制,分别覆盖 NAT 网关吞吐量、Hub 请求日志归档成功率等环节。其中 NAT 网关吞吐量告警采用静态阈值,用于捕捉流量异常并提示团队优化网络路径与成本。日志归档链路则依托 Filebeat、Logstash 与 Elasticsearch 完成采集、加工与存储。
Sentence Transformers 现已支持训练和微调稀疏嵌入模型,可产出如 sparse-encoder/example-inference-free-splade-distilbert-base-uncased-nq 这类低成本模型,尤其适合混合搜索或检索重排场景。
Hugging Face 发布教程,介绍如何用 QLoRA 配合 diffusers 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以内。
推荐理由:给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存实测数据,方法可直接复用。
TNG 在 24 张 H100 上自托管多个大语言模型,每日消耗超 1 亿 token、生成超 1000 万 token,其分析指出 vLLM 默认 chunked-prefill 策略下长提示词的 prefill 会串行阻塞后续请求,导致首 token 延迟升高。
Hugging Face 发布 Kernel Hub,允许 Python 库和应用通过 kernels 库的 get_kernel 函数直接从 Hub 加载预编译的优化计算 kernel,无需本地编译。
NVIDIA 发布 Isaac GR00T N1.5,这是 Isaac GR00T N1 的首次重大更新,可通过后训练适配具体本体、任务和环境。博客给出完整教程,演示如何用单台 SO-101 机械臂的遥操作数据微调 GR00T N1.5,涵盖环境安装、数据集准备、微调、开环评估和真机部署五步。
推荐理由:原文给出用单臂遥操作数据微调 GR00T N1.5 的完整命令流程,可迁移到其他机器人本体。
Hugging Face 的 nanoVLM 仓库从零实现了 KV Cache,使自回归生成速度提升 38%。该实现覆盖 Attention 块、逐层缓存的语言模型以及区分 prefill 与 decode 阶段的生成循环,经验可推广到所有自回归语言模型推理。
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具,无需 GPU 和云端推理,输入提示词几秒内即可生成 .wav 文件并直接导入 Ableton Live。该工具基于 PyTorch 和 TorchAudio,采用多线程优化,扩散采样步数降至 7 步,也支持 Metal 和 CUDA 设备。
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由:TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
用户在使用 Qwen2.5-0.5B-Instruct 以 bf16 精度结合 DeepSpeed ZeRO3 测试 Liger GRPO loss 时,于 TRL 的 GRPO Trainer 中触发形状不匹配报错。
Hugging Face 发布 Python 版 Tiny Agents,将 huggingface_hub 客户端 SDK 扩展为 MCP Client,可从 MCP 服务器拉取工具并在推理时传给 LLM,核心智能体代码约 70 行。
推荐理由:Hugging Face 把 MCP 客户端并入 huggingface_hub,读者可据此用约 70 行代码搭出可复用工具调用的智能体。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示效果。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型(VLM)的轻量工具包,可在免费 Colab 上启动训练,灵感来自 nanoGPT。
推荐理由:Hugging Face 开源 nanoVLM,用纯 PyTorch 和可读代码把 VLM 训练流程拆解到可复现,适合想理解多模态对齐细节的读者。
Hugging Face 发文回顾过去一年视觉语言模型(VLM)的关键变化,涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face 发文称 LeRobot 社区贡献数据集正快速增长,目标是打造机器人领域的“ImageNet”,将泛化视为数据问题而非单纯的模型能力问题。
Gradio 官方发布指南,介绍如何用几行 Python 把 Gradio 应用启动为 MCP Server,让 LLM 以工具形式调用其中的函数。只需在 launch() 中设置 mcp_server=True,函数 docstring 会自动生成工具描述与参数,MCP 端点位于 /gradio_api/mcp/sse,可配置到 Cursor、Cline 等 MCP 客户端。
推荐理由:Gradio 官方给出把任意 Python 函数变成 MCP 工具的最短路径,并列出资源、提示词与鉴权等新增能力。