Arm 与 ExecuTorch 0.7：KleidiAI 默认启用，让旧款 Arm 设备也能跑生成式 AI
Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI，为基于 Arm CPU 的设备自动带来加速，Android 与跨平台开发者无需改动代码即可通过 ExecuTorch 和 XNNPack 获得性能优化。
推荐理由：Arm 与 ExecuTorch 0.7 默认启用 KleidiAI，读者可据此判断旧款 Arm 设备跑端侧 LLM 的可行边界。
#端侧
#端侧
今日 0 条Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分7878 Gemma 3n 全面上线开源生态，支持端侧多模态推理
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 和 Google AI Edge 等主流开源库中可用，发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸，各有 base 和 instruct 两个版本。
推荐理由：原文给出 Gemma 3n 在主流开源库的落地方式与端侧内存占用，读者可据此判断本地多模态部署的可行性。
Hugging Face BlogAI 评分2727 Arm CPU 上实时 AI 音效生成：基于 Stable Audio Open 的个人创作工具
Arm 工程师 Michael Gamble 用 Stable Audio Open 模型在 Arm CPU 上构建了一款本地实时音效生成工具，无需 GPU 和云端推理，输入提示词几秒内即可生成 .wav 文件并直接导入 Ableton Live。该工具基于 PyTorch 和 TorchAudio，采用多线程优化，扩散采样步数降至 7 步，也支持 Metal 和 CUDA 设备。
Hugging Face BlogAI 评分3434 Dell Enterprise Hub 新版发布：在本地用 Dell AI 服务器和 AI PC 构建 AI
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供可在本地部署和训练的模型与应用套件，支持 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型，Llama 4 在 Meta 公开发布后 1 小时内即上线。
Hugging Face Blog精选AI 评分6262 Falcon-H1 发布：0.5B 到 34B 的混合注意力 SSM 模型家族
Falcon-H1 系列发布六个开源模型，参数从 0.5B 到 34B，每个尺寸都有 base 和 instruct 版本，采用 Apache 2.0 许可。模型在混合 mixer 块中并行组合注意力与 Mamba-2 头，支持 256K 上下文和 18 种语言，官方称 0.5B 版本性能接近 2024 年的典型 7B 模型。
推荐理由：Falcon-H1 用注意力与 SSM 并行混合架构，在 0.5B 到 34B 六个尺寸上给出效率与长上下文表现，可据此判断小模型部署的取舍。
Hugging Face Blog精选AI 评分6262 Falcon-Edge 发布：可微调的 1.58bit 三元语言模型系列
Falcon-Edge 系列发布，基于 BitNet 架构，提供 1B 和 3B 两种参数规模，每种都有 base 和指令微调版本，权重以三元格式（{-1, 0, 1}）存储。
推荐理由：Falcon-Edge 用单次预训练同时产出 bfloat16 与三元量化版本，读者可据此了解 1.58bit 模型在端侧部署与微调上的新路径。
Hugging Face BlogAI 评分4040 Open R1 教程：如何在本地用 OlympicCoder 7B 做编程助手
Open R1 项目发布教程，介绍如何在本地通过 LM Studio 加载 4bit GGUF 量化的 OlympicCoder 7B，并接入 VS Code 的 Continue 扩展实现代码补全、生成、解释、重构和写测试。
Mistral AI精选AI 评分7171 Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/秒，并以 Apache 2.0 许可开源。
推荐理由：官方给出 Mistral Small 3.1 的多模态、128k 上下文与单卡可跑规格，便于判断小模型端侧部署的取舍。
Hugging Face Blog精选AI 评分7575 LeRobot 与 Yaak 发布 L2D：全球最大开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D（Learning to Drive），称其为全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 座城市的 60 辆驾校车辆。
推荐理由：L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放，读者可据此判断端到端自动驾驶数据集的规模与可用性。
Hugging Face BlogAI 评分3434 如何在手机上通过 React Native 运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，指导开发者用 React Native 构建本地运行 LLM 的移动应用，通过 llama.rn（llama.cpp 的绑定）加载 GGUF 模型，从 Hugging Face hub 下载后完全离线运行。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 SmolVLM2 视频理解模型，含 2.2B、500M 和 256M 三个尺寸
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三个参数规模，并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由：Hugging Face 发布三档小尺寸视频理解模型，并给出 MLX 与 Transformers 的即用示例，可据此判断端侧视频理解的门槛变化。
Mistral AI精选AI 评分7878 Mistral AI 发布 24B 模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体条件，便于判断端侧选型。
Hugging Face Blog精选AI 评分7878 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快至多 100 倍，加载模型时设置 device: 'webgpu' 即可启用。
推荐理由：官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型，可据此判断浏览器端推理的落地条件。
Mistral AI精选AI 评分6666 Mistral 发布 Ministral 3B 与 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B，面向设备端与边缘计算场景。
推荐理由：Mistral 在 7B 发布一周年推出两款端侧小模型，给出定价与许可，可据此判断本地推理的选型空间。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：多模态与端侧小模型上线 Hugging Face
Meta 发布 Llama 3.2 系列共 10 个开放权重模型，包括 5 个多模态模型和 5 个纯文本模型，均已上线 Hugging Face。
推荐理由：Hugging Face 与 Meta 同步放出 10 个开放权重模型，并给出端侧运行与单卡微调的具体路径。
Hugging Face BlogAI 评分2222 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中部署。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了三个尺寸小模型的训练数据配比与评测对比，可据此判断端侧小模型的取舍。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 集成 OpenVINO，将微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在一台搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者能在 Mac 和 iOS 设备上用 Core ML 运行 Llama 2、Falcon 等大语言模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此判断端侧大模型的落地路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 用混合位宽调色板量化在 Mac 上运行 Stable Diffusion XL
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由：原文给出混合位宽调色板量化的完整方法与脚本，读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face Blog精选AI 评分6060 用 Transformers.js 打造 ML 驱动的网页游戏
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行，每秒可做 60 次以上预测。
推荐理由：完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程，可迁移到其他端侧 ML 项目。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化，将权重从 16-bit 浮点压缩到每参数 6 bit，并在推理时逐层解压，从而减少存储和内存占用。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face Blog精选AI 评分7070 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助 Apple 工程师提供的转换脚本和推理代码，Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行，Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据，可据此复现或自行转换权重。