在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3434
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调，更省内存且性能更好。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测确实有效：Autoformer 已加入 Hugging Face Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face BlogAI 评分2828 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化，将权重从 16-bit 浮点压缩到每参数 6 bit，并在推理时逐层解压，从而减少存储和内存占用。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face BlogAI 评分2222 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与演示，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别为例演示按任务和语言筛选模型，并给出将 CSV 数据集上传至 Hub 的步骤。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何在 Unity 游戏中通过 Hugging Face Unity API 实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示了搭建含开始/停止按钮与 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送至 API。
Hugging Face BlogAI 评分3838 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代，单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。
Hugging Face BlogAI 评分3636 BigCode 背后的大规模近重复数据删除技术
Hugging Face 发布 BigCode 项目大规模近重复数据删除的技术详解，采用 MinHash + LSH 方法对代码数据集进行文档级去重，参数为 (256, 0.7, 5)。
Hugging Face BlogAI 评分4242 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数基准指标不降反升。
Hugging Face BlogAI 评分3636 用 ROCm 在单块 AMD GPU 上运行 Vicuna 13B 聊天机器人
Hugging Face 发布教程，介绍如何在单块 AMD GPU 上通过 ROCm 运行 13B 参数的 Vicuna 聊天机器人。Vicuna 由 UC Berkeley、CMU、斯坦福和 UCSD 团队基于 LLaMA 微调，训练成本约 300 美元，以 GPT-4 为参照的初步评估中质量达到 ChatGPT 的 90% 以上。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成新方法
Hugging Face 发布辅助生成（assisted generation）方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，从而减少前向次数。
推荐理由：Hugging Face 官方给出辅助生成方法的原理与实测数据，读者可据此判断它是否适合自己现有的推理部署。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编码助手 StarChat
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat，使用 OpenAssistant 约 2.1 万条英文对话数据，并采用 ChatML 格式标记对话角色。
推荐理由：原文完整给出用对话数据微调 StarCoder 的流程与代码，读者可据此复现一个开源编码助手。
Hugging Face BlogAI 评分4242 Hugging Face 博客：文本到视频模型全面解析
Hugging Face 发布博客梳理文本到视频模型的发展脉络，指出该任务比文本到图像更难，需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案，再到当前以扩散模型为主的第三波浪潮，并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face BlogAI 评分2222 Hugging Face Unity API 如何安装与使用
Hugging Face Unity API 是 Hugging Face Inference API 的集成，让开发者在 Unity 项目中调用 Hugging Face AI 模型。
Hugging Face BlogAI 评分3434 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布教程，演示如何用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，再到最终模型训练的完整流程。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤，可迁移到其他大模型的低显存部署。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Space 中托管 Unity 游戏
Hugging Face 发布教程，介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space，将 Unity 项目构建目标切换为 WebGL，压缩格式设为 Disabled，再通过 Git-LFS 推送构建文件即可。教程还提供可选的 Hugging Face Unity WebGL 模板以美化游戏外观。
Hugging Face BlogAI 评分2222 用 Transformers 进行图分类：基于 Graphormer 的实战教程
Hugging Face 发布教程，演示如何用 Transformers（>= 4.27.2）库完成图分类任务，目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分2222 Hugging Face 与 Substra 合作推出联邦学习演示空间，推动隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间，让用户体验联邦学习如何在数据不出本地的前提下训练模型。该空间通过控制样本分布，展示联邦学习训练的模型在验证数据上几乎总是优于单一数据源训练的模型。Substra 已在乳腺癌研究等复杂安全环境中落地，并支持过 MELLODDY 项目中 10 家生物制药公司的数据协作。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程，涵盖监督微调、奖励模型和 PPO 强化学习三个阶段，全部代码集成在 TRL 库中。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face BlogAI 评分4242 BLOOMZ 在 Habana Gaudi2 加速器上的快速推理
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中，8 卡 Gaudi2 生成 100 token 耗时 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍；BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face BlogAI 评分4242 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术，借助 Optimum Intel 与 OpenVINO。
Hugging Face BlogAI 评分2222 使用 Hugging Face 和 Flower 实现联邦学习
Hugging Face 发布教程，演示如何用 Flower 框架在多个客户端上联邦微调 distilBERT 模型，完成 IMDB 影评情感分类任务。教程使用 datasets、evaluate、flwr、torch、transformers 等库，并提供了在 Google Colab 中通过 Flower 模拟功能复现联邦训练的 notebook。
Hugging Face Blog精选AI 评分6262 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍用 diffusers 训练 ControlNet 的三个步骤：规划条件、构建数据集、训练模型，并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由：Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程，含显存优化参数。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 新增 Informer 模型，支持多变量概率时间序列预测
Hugging Face 在 🤗 Transformers 中集成了 AAAI21 最佳论文提出的 Informer 模型，用于多变量概率时间序列预测。Informer 通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T)，并用 Distilling 操作将堆叠层内存占用从 O(NT²) 降至 O(N·T log T)。
Hugging Face Blog精选AI 评分6262 trl 与 peft 集成：在 24GB 消费级 GPU 上 RLHF 微调 20B LLM
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例，通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型，在 24GB NVIDIA 4090 上完成微调，完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍，后续将探索多 GPU 扩展与提速。
推荐理由：trl 与 peft 集成后，读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Hugging Face BlogAI 评分4848 Hugging Face 社区如何用机器学习搭建土耳其地震救援应用 afetharita
2023 年土耳其地震后，志愿者在 Hugging Face 上协作开发了救援地图应用 afetharita，用 easyocr 做 OCR、微调 bert-base-turkish-cased 做地址抽取，并通过 Inference API 部署。团队还用 NLI 模型与微调分类模型识别幸存者的住所、食物、物流等需求，并搭建 Space 对 F1 与召回率进行基准评测。
Hugging Face BlogAI 评分1212 Hugging Face 如何加速 Witty Works 写作助手的开发
Witty Works 借助 Hugging Face Expert Acceleration Program，将写作助手的非包容性词汇检测从基础 spaCy 方案升级为 Sentence Transformers 架构，结合 SetFit 少样本微调，每个词仅需 15-20 条标注句子即可完成分类。
Hugging Face BlogAI 评分3838 Hugging Face 详解大语言模型红队测试：方法、风险与最佳实践
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与对抗攻击不同，其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行，针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式，未来需建立多方协作的数据集与最佳实践。
Hugging Face Blog精选AI 评分6262 用 BLIP-2 在 Hugging Face Transformers 中实现零样本图像到文本生成
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers，本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由：文章给出 BLIP-2 在 Transformers 中的完整调用示例，读者可据此复现图像描述与视觉问答流程。
Hugging Face BlogAI 评分2222 我们为何转向 Hugging Face Inference Endpoints，或许你也该考虑
Hugging Face 推出托管服务 Inference Endpoints，可将 Hub 上的模型部署到 AWS、Azure 等云端的多种实例（含 GPU）。
Hugging Face BlogAI 评分2222 用 AI 为游戏开发生成故事：Hugging Face 教程第 5 篇
Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事，包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限，建议仅用于头脑风暴，最终内容仍应手写，并提到 Character.AI 等对话智能体可作替代方案。
Hugging Face BlogAI 评分2222 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理篇
Hugging Face 联合 Intel 测试了 Sapphire Rapids 服务器上 PyTorch Transformers 的推理性能，在 distilbert-base-uncased、bert-base-uncased 和 roberta-base 三个模型上对比 Ice Lake 平台，使用最新版 Optimum Intel 库加速。
Hugging Face BlogAI 评分3030 Hugging Face 博客：深入解析视觉-语言模型及其训练策略
Hugging Face 发布博客深入解析视觉-语言模型，聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略，并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来，结合视觉与语言模态的联合模型（如 OpenAI 的 CLIP）在图像描述、文本引导图像生成与视觉问答等任务上表现突出。
Hugging Face Blog精选AI 评分7575 用 LoRA 高效微调 Stable Diffusion：diffusers 官方教程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，可用于 Dreambooth 和完整微调，训练显存最低约 11 GB，新增权重文件约 3 MB，比原 UNet 小约一千倍。
推荐理由：Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程，并说明显存和权重体积的实际变化。
Hugging Face BlogAI 评分3636 2D 资产生成：AI 用于游戏开发 #4
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产，并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face BlogAI 评分5252 Hugging Face 解读对话智能体为何有用：RLHF、IFT、CoT 等技术梳理
Hugging Face 发布博客梳理让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
Hugging Face BlogAI 评分2222 3D 资产生成：AI 用于游戏开发 #3
Hugging Face 博客"AI for Game Development"系列第 3 篇指出，text-to-3D 目前还无法实际用于游戏开发，因为生成结果多为 NeRF 视图合成而非可直接使用的 mesh，需大量人工后处理才能成为游戏资产。