用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践
Hugging Face 博客发布三部分系列文章，记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由：记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程，对端侧部署有可迁移的参考价值。
多模态
全部主题文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
最新精选
第 81–100 条 · 共 140 条Hugging Face Blog精选AI 评分6262
OpenAI News精选AI 评分7878 OpenAI 发布 Sora 2 视频与音频生成模型系统卡
OpenAI 发布新一代视频与音频生成模型 Sora 2，并同步公开系统卡。相比 Sora，新模型在物理准确性、画面真实感、音画同步、可控性和风格覆盖范围上有所提升。
推荐理由：官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化，可据此判断视频生成模型的当前边界。
OpenAI News精选AI 评分7878 OpenAI 发布视频生成模型 Sora 2
OpenAI 发布视频生成模型 Sora 2，支持同步的对话与音效。原文同时说明 Sora 产品已不再提供。
推荐理由：OpenAI 发布新一代视频生成模型 Sora 2，读者可了解其在对话与音效同步上的能力变化。
OpenAI News精选AI 评分8282 OpenAI 发布 GPT-5
OpenAI 发布 GPT-5，称其为目前最强的 AI 系统，在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方向达到当前最优表现。
推荐理由：OpenAI 官方发布 GPT-5，读者可据此了解新模型在编码、数学、写作等方向的能力定位。
Hugging Face Blog精选AI 评分6060 TRL 为视觉语言模型加入 MPO、GRPO、GSPO 对齐支持
Hugging Face 的 TRL 新增面向视觉语言模型的对齐方法，包括混合偏好优化 MPO、多模态 GRPO 以及 Qwen 提出的 GSPO，并扩展 RLOO 和 Online DPO 支持 VLM。
推荐理由：TRL 新增多种多模态对齐算法与原生 SFT 支持，读者可据此判断 VLM 后训练工具链的可用范围。
Mistral AI精选AI 评分6666 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：官方一次性公布 Le Chat 的深度研究、语音、推理与图像编辑多项能力，可据此判断其产品路线与可用入口。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini，399 美元起
Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini，Lite 版 399 美元、带 Raspberry Pi 4 与电池的 Compute 版 499 美元，均需另付税费和运费，预计约 90 天发货。
推荐理由：Reachy Mini 给出了开源硬件规格、两档价格与 Hugging Face 行为库入口，可据此判断桌面机器人开发门槛。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个完全开源的 3B 模型，在 11T token 上训练，支持 think/no_think 双模式推理、6 种语言和最长 128k 上下文。该模型在 3B 规模上超越 Llama-3.2-3B 和 Qwen2.5-3B，并与 Qwen3、Gemma3 等 4B 模型竞争。团队同时公开了预训练、中训练、后训练及合成数据生成的完整配方和数据集。
推荐理由：Hugging Face 公开了 SmolLM3 的完整训练配方与数据配比，读者可据此复现或改进 3B 级小模型。
Hugging Face Blog精选AI 评分7878 Gemma 3n 全面上线开源生态，支持端侧多模态推理
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 和 Google AI Edge 等主流开源库中可用，发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸，各有 base 和 instruct 两个版本。
推荐理由：原文给出 Gemma 3n 在主流开源库的落地方式与端侧内存占用，读者可据此判断本地多模态部署的可行性。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite，面向 GUI Agent 的综合评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的综合评测套件，统一整合了 13 个基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，统一 13 个基准并支持 Docker 本地部署，可据此判断视觉语言模型的智能体能力。
Hugging Face Blog精选AI 评分6969 H Company 发布 GUI 自动化 VLM 系列 Holo1 及 WebClick 基准
H Company 发布 Holo1 系列 Action VLM 和 WebClick 多模态定位基准，Holo1 包含 3B 与 7B 两个版本，基于 Qwen2.5-VL 架构，7B 版本在常见 UI 定位基准上平均准确率达 76.2%。
推荐理由：Holo1 开源了 GUI 定位模型与 WebClick 基准，并给出 Surfer-H 在 WebVoyager 上的成本与准确率数据，便于评估网页自动化方案。
Hugging Face Blog精选AI 评分6060 Hugging Face 开源 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，可在免费 Colab 上启动训练，灵感来自 nanoGPT。
推荐理由：Hugging Face 开源 nanoVLM，用纯 PyTorch 和可读代码把 VLM 训练流程拆解到可复现，适合想理解多模态对齐细节的读者。
Mistral AI精选AI 评分7474 Mistral AI 发布 Mistral Medium 3，主打低成本企业部署
Mistral AI 发布 Mistral Medium 3，称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上，成本为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，可据此判断企业自部署的成本与可行性。
Hugging Face Blog精选AI 评分6262 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，可评估纯文本和图文输入，覆盖 MLCommons 定义的 14 类危害及代码解释器滥用，可在单张 24GB 显存 GPU 上运行。
推荐理由：Meta 发布 12B 多模态安全模型与两款提示注入分类器，并给出可直接运行的 transformers 示例。
Hugging Face Blog精选AI 评分8888 Llama 4 Maverick 与 Scout 上线 Hugging Face
Meta 发布 Llama 4 Maverick（约 400B 总参数）和 Llama 4 Scout（约 109B 总参数）两款 MoE 模型，均为 17B 激活参数，原生支持文本与图像输入，已在 Hugging Face Hub 上线。
推荐理由：文章给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节，便于判断其部署门槛与长上下文能力。
Hugging Face Blog精选AI 评分7171 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果：世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由：NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型，读者可据此了解物理 AI 开发可用的工具链。
Mistral AI精选AI 评分7171 Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/秒，并以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格，便于判断小模型端侧部署的取舍。
Hugging Face Blog精选AI 评分8282 Google 发布 Gemma 3 开源模型：多模态、多语言、128k 上下文
Google 发布 Gemma 系列新模型 Gemma 3，提供 1B、4B、12B、27B 四种尺寸，含预训练与指令微调版本。其中 4B、12B、27B 支持图像与文本输入，上下文窗口达 128k，支持 140 多种语言，1B 版本仅支持文本、上下文 32k。
推荐理由：梳理 Gemma 3 的四种尺寸、多模态与 128k 上下文等规格，并给出 transformers 与端侧推理的可用入口。
Mistral AI精选AI 评分7777 Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错提取文本与图像，并作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，读者可据此判断它在文档解析与 RAG 流程中的位置。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型，包含 8B 和 32B 两个版本，覆盖 23 种语言。32B 版本在 AyaVisionBench 和 mWildVision 的成对比较中，对 Llama-3.2 90B Vision、Molmo 72B、Qwen2.5-VL 72B 等参数量超过自身两倍的模型取得 50% 至 64% 的胜率。
推荐理由：原文给出 8B 与 32B 两个开源权重的多语言视觉语言模型及训练细节，读者可据此判断小参数模型在多语言多模态上的位置。