AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
全部AI 动态
全部动态
今日 4 条Hugging Face Blog精选AI 评分6060
Hugging Face BlogAI 评分2222 使用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的 TTS 模型 Bark。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：实战 DeepFloyd IF
Hugging Face 发布博客演示如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器和三个级联像素扩散模块组成，Stage 1 生成 64x64 px 基础图像，经 Stage 2、Stage 3 逐步放大至 1024x1024 px，并集成 T5-XXL-1.1 编码提示词。
Hugging Face Blog精选AI 评分6666 用 DPO 微调 Llama 2：TRL 库训练教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行，支持文本提示生成音乐。
Hugging Face BlogAI 评分3535 Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
Hugging Face BlogAI 评分3636 如何用 Shap-E 与 Dream Textures 生成 PS1 风格 3D 资产：分步指南
一份分步教程演示如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最终导出 FBX 导入 Unity。流程选择 PS1 低多边形风格，以规避当前 text-to-3D 模型保真度不足的问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 用混合位宽调色板量化在 Mac 上运行 Stable Diffusion XL
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由：原文给出混合位宽调色板量化的完整方法与脚本，读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face BlogAI 评分4242 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其 Hub 上的开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分3838 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 发布实验性 demo AI WebTV，用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段，可选用 zeroscope_v2_XL 放大至 1024x576，再经 FILM 插帧与 MusicGen 配乐，通过 FFmpeg 推流至 RTMP 服务器。
Hugging Face BlogAI 评分3838 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，利用 AMX 加速器与 Intel Extension for PyTorch，仅需 5 张示例图片即可通过 textual inversion 完成训练。
Hugging Face Blog精选AI 评分6060 用 Transformers.js 打造 ML 驱动的网页游戏
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行，每秒可做 60 次以上预测。
推荐理由：完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程，可迁移到其他端侧 ML 项目。
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何通过其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，选用 1x Nvidia A100 实例，约 10 分钟即可上线。
Hugging Face BlogAI 评分3636 用开源 ML 模型打造 Web 应用生成器：WizardCoder-15B 实战教程
Hugging Face 发布教程，演示如何用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 构建流式生成 HTML 的 Web 应用生成器。模型通过 textGenerationStream 边生成边渲染页面，并借助 TailwindCSS 工具类实时生成样式，同时给出提示词调优与防幻觉的实践建议。
Hugging Face BlogAI 评分3434 在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调，更省内存且性能更好。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测确实有效：Autoformer 已加入 Hugging Face Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face BlogAI 评分2828 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
Hugging Face BlogAI 评分2222 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与演示，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别为例演示按任务和语言筛选模型，并给出将 CSV 数据集上传至 Hub 的步骤。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何在 Unity 游戏中通过 Hugging Face Unity API 实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示了搭建含开始/停止按钮与 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送至 API。
Hugging Face BlogAI 评分3838 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代，单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face Blog精选AI 评分7878 Hugging Face 用 bitsandbytes 与 QLoRA 让 transformers 支持 4-bit 量化
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers，读者可据此判断消费级显卡微调大模型的门槛变化。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。
Hugging Face BlogAI 评分3636 BigCode 背后的大规模近重复数据删除技术
Hugging Face 发布 BigCode 项目大规模近重复数据删除的技术详解，采用 MinHash + LSH 方法对代码数据集进行文档级去重，参数为 (256, 0.7, 5)。
Hugging Face BlogAI 评分4242 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数基准指标不降反升。
Hugging Face BlogAI 评分3636 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 发布教程，介绍如何在单块 AMD GPU 上通过 ROCm 运行 13B 参数的 Vicuna 聊天机器人。Vicuna 由 UC Berkeley、CMU、斯坦福和 UCSD 团队基于 LLaMA 微调，训练成本约 300 美元，以 GPT-4 为参照的初步评估中质量达到 ChatGPT 的 90% 以上。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成新方法
Hugging Face 发布辅助生成（assisted generation）方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，从而减少前向次数。
推荐理由：Hugging Face 官方给出辅助生成方法的原理与实测数据，读者可据此判断它是否适合自己现有的推理部署。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编码助手 StarChat
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat，使用 OpenAssistant 约 2.1 万条英文对话数据，并采用 ChatML 格式标记对话角色。
推荐理由：原文完整给出用对话数据微调 StarCoder 的流程与代码，读者可据此复现一个开源编码助手。
Hugging Face BlogAI 评分4242 Hugging Face 博客：文本到视频模型全面解析
Hugging Face 发布博客梳理文本到视频模型的发展脉络，指出该任务比文本到图像更难，需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案，再到当前以扩散模型为主的第三波浪潮，并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face BlogAI 评分2222 Hugging Face Unity API 如何安装与使用
Hugging Face Unity API 是 Hugging Face Inference API 的集成，让开发者在 Unity 项目中调用 Hugging Face AI 模型。
Hugging Face BlogAI 评分3434 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布教程，演示如何用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，再到最终模型训练的完整流程。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤，可迁移到其他大模型的低显存部署。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Space 中托管 Unity 游戏
Hugging Face 发布教程，介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space，将 Unity 项目构建目标切换为 WebGL，压缩格式设为 Disabled，再通过 Git-LFS 推送构建文件即可。教程还提供可选的 Hugging Face Unity WebGL 模板以美化游戏外观。
Hugging Face BlogAI 评分2222 用 Transformers 进行图分类：基于 Graphormer 的实战教程
Hugging Face 发布教程，演示如何用 Transformers（>= 4.27.2）库完成图分类任务，目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分2222 Hugging Face 与 Substra 合作推出联邦学习演示空间，推动隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间，让用户体验联邦学习如何在数据不出本地的前提下训练模型。该空间通过控制样本分布，展示联邦学习训练的模型在验证数据上几乎总是优于单一数据源训练的模型。Substra 已在乳腺癌研究等复杂安全环境中落地，并支持过 MELLODDY 项目中 10 家生物制药公司的数据协作。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程，涵盖监督微调、奖励模型和 PPO 强化学习三个阶段，全部代码集成在 TRL 库中。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face BlogAI 评分4242 BLOOMZ 在 Habana Gaudi2 加速器上的快速推理
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中，8 卡 Gaudi2 生成 100 token 耗时 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍；BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face BlogAI 评分4242 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术，借助 Optimum Intel 与 OpenVINO。
Hugging Face BlogAI 评分2222 使用 Hugging Face 和 Flower 实现联邦学习
Hugging Face 发布教程，演示如何用 Flower 框架在多个客户端上联邦微调 distilBERT 模型，完成 IMDB 影评情感分类任务。教程使用 datasets、evaluate、flwr、torch、transformers 等库，并提供了在 Google Colab 中通过 Flower 模拟功能复现联邦训练的 notebook。
Hugging Face Blog精选AI 评分6262 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍用 diffusers 训练 ControlNet 的三个步骤：规划条件、构建数据集、训练模型，并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由：Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程，含显存优化参数。