Transformers.js v4 发布并上线 NPM
Transformers.js v4 已在 NPM 发布，可通过 npm i @huggingface/transformers 安装，距 2025 年 3 月启动开发约一年。
推荐理由：官方给出 v4 的 WebGPU 运行时重写、构建提速与包体积变化，可据此判断浏览器端推理的工程收益。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 21–40 条 · 共 47 条Hugging Face Blog精选AI 评分6666
Mistral AI精选AI 评分8282 Mistral 发布 Mistral 3 系列模型，含 675B 参数的 Mistral Large 3
Mistral 发布 Mistral 3 系列，包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3，后者为稀疏 MoE 架构，41B 激活参数、675B 总参数，全部以 Apache 2.0 许可开源。
推荐理由：Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重，读者可据此判断开源模型在端侧与前沿两端的当前水位。
Hugging Face Blog精选AI 评分6060 AnyLanguageModel 发布：为 Apple 平台本地与远程 LLM 提供统一 API
AnyLanguageModel 发布，这是一个 Swift 包，作为 Apple Foundation Models 框架的替代方案，支持多种模型提供方。
推荐理由：原文给出统一 API 与多后端接入方式，读者可据此判断 Apple 平台本地与云端模型集成成本的变化。
Google Research精选AI 评分7676 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 发布端到端语音到语音翻译（S2ST）模型，直接生成译文音频并保留原说话人音色，延迟从级联方案的 4–5 秒降至 2 秒。该模型基于 AudioLM 框架和 Transformer 模块，采用流式编码器与解码器，并用时间同步数据管线训练，音频以 RVQ token 表示，100 ms 片段约需 16 个 token。
推荐理由：Google 端到端语音翻译把延迟从 4–5 秒压到 2 秒，并已落地 Meet 与 Pixel 10，可据此判断实时同传的可用边界。
Google Research精选AI 评分6262 Google 提出可证明隐私洞察 PPI，用 LLM 与差分隐私分析 GenAI 使用数据
Google Research 提出可证明隐私洞察（PPI），结合 LLM、差分隐私（DP）与可信执行环境（TEE），在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 工具的使用情况。
推荐理由：Google 把 LLM、差分隐私与 TEE 组合成可外部验证的隐私分析流程，读者可了解端侧数据洞察的工程路径。
Hugging Face Blog精选AI 评分6262 用 Core ML 和 MLX 在端侧运行 dots.ocr 的转换实践
Hugging Face 博客发布三部分系列文章，记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，组合使用 Core ML 跑视觉编码器和 MLX 跑 Qwen2.5-1.5B 语言模型主干。
推荐理由：记录了把 3B OCR 模型从 PyTorch 转换到 Core ML 的完整排错过程，对端侧部署有可迁移的参考价值。
Hugging Face Blog精选AI 评分6060 Google 发布 EmbeddingGemma 嵌入模型
Google 发布 EmbeddingGemma，一款面向端侧场景的多语言嵌入模型，308M 参数、2K 上下文窗口，支持 100 多种语言，量化后内存占用低于 200 MB。
推荐理由：308M 参数、2K 上下文、支持 100 多种语言，读者可据此判断端侧 RAG 与多语言检索的落地空间。
Hugging Face Blog精选AI 评分6060 NVIDIA 发布 600 万条多语言推理数据集并推出 Nemotron Nano 2 9B
NVIDIA 发布 Nemotron Post-Training Dataset V2，将英文推理数据翻译为法语、德语、意大利语、日语和西班牙语，共 600 万条多语言样本，数据集已在 Hugging Face 开放。
推荐理由：NVIDIA 公开了多语言推理数据集的构建与过滤细节，并给出配套 9B 模型的端侧部署参数。
Hugging Face Blog精选AI 评分6060 Arm 与 ExecuTorch 0.7：KleidiAI 默认启用，让旧款 Arm 设备也能跑生成式 AI
Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI，为基于 Arm CPU 的设备自动带来加速，Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。
推荐理由：Arm 与 ExecuTorch 0.7 默认启用 KleidiAI，读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。
Hugging Face Blog精选AI 评分7878 Gemma 3n 全面上线开源生态，支持端侧多模态推理
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 和 Google AI Edge 等主流开源库中可用，发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸，各有 base 和 instruct 两个版本。
推荐理由：原文给出 Gemma 3n 在主流开源库的落地方式与端侧内存占用，读者可据此判断本地多模态部署的可行性。
Hugging Face Blog精选AI 评分6262 Falcon-H1 发布：0.5B 到 34B 的混合注意力 SSM 模型家族
Falcon-H1 系列发布六个开源模型，参数从 0.5B 到 34B，每个尺寸都有 base 和 instruct 版本，采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头，支持 256K 上下文和 18 种语言，官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由：Falcon-H1 用注意力与 SSM 并行混合架构，在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现，可据此判断小模型部署的取舍。
Hugging Face Blog精选AI 评分6262 Falcon-Edge 发布：可微调的 1.58bit 三元语言模型系列
Falcon-Edge 系列发布，基于 BitNet 架构，提供 1B 和 3B 两种参数规模，每种都有 base 和指令微调版本，权重以三元格式（{-1, 0, 1}）存储。
推荐理由：Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本，读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
Mistral AI精选AI 评分7171 Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/秒，并以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格，便于判断小模型端侧部署的取舍。
Hugging Face Blog精选AI 评分7575 LeRobot 与 Yaak 发布 L2D：全球最大开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D（Learning to Drive），称其为全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 座城市的 60 辆驾校车辆。
推荐理由：L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放，读者可据此判断端到端自动驾驶数据集的规模与可用性。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 SmolVLM2 视频理解模型，含 2.2B、500M 和 256M 三个尺寸
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三个参数规模，并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由：Hugging Face 发布三档小尺寸视频理解模型，并给出 MLX 与 Transformers 的即用示例，可据此判断端侧视频理解的门槛变化。
Mistral AI精选AI 评分7878 Mistral AI 发布 24B 模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体条件，便于判断端侧选型。
Hugging Face Blog精选AI 评分7878 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快至多 100 倍，加载模型时设置 device: 'webgpu' 即可启用。
推荐理由：官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型，可据此判断浏览器端推理的落地条件。
Mistral AI精选AI 评分6666 Mistral 发布 Ministral 3B 与 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B，面向设备端与边缘计算场景。
推荐理由：Mistral 在 7B 发布一周年推出两款端侧小模型，给出定价与许可，可据此判断本地推理的选型空间。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2 系列共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。
推荐理由：Hugging Face 与 Meta 同步放出 10 个开放权重模型，并给出端侧运行与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。