用 AWS Inferentia2 让 Llama 2 生成速度起飞
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 meta-llama/Llama-2-7b-hf 编译导出为 Neuron 格式，并按预算、延迟、吞吐三种配置部署 7B 与 13B 模型，最大序列长度 2048。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3838
Hugging Face Blog精选AI 评分6262 Personal Copilot：用 Hugging Face 代码微调自己的编程助手
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码，微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder（15.5B），训练 12.5 小时、成本约 13.75 美元，而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，以及本地部署路径，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码在 Spotlight 中交互式探索 Hugging Face 数据集
Renumics Spotlight 现可直接读取 Hugging Face datasets，只需一行 spotlight.show(ds) 即可交互式可视化数据集，无需复制或预处理。Spotlight 能利用预测结果和嵌入向量生成相似度图、混淆矩阵等视图，帮助定位关键数据簇与模型失败模式，并支持通过 Python API 自定义数据检查流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理的简单优化方法
Hugging Face 在 A100（40GB）上测试了 SDXL 的多种推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：原文给出 SDXL 在 A100 上的逐项优化实测数据，读者可据此按显存与延迟取舍推理配置。
Hugging Face BlogAI 评分3636 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分4040 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 SDXL 推理。该方案基于 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，纯生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半，实例提供 1、4、8 至 256 芯片多种规格。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，演示如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，以避免长时间排队。
Hugging Face BlogAI 评分4242 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face Blog精选AI 评分6060 非工程师指南：用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则表达式系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估，团队选择 Hugging Face Inference API 托管模型，一周内即承接部分流量，并逐步将关键路径流量迁移至其托管服务。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解析
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章详解了 IoU、Average Precision（AP）与 Average Recall（AR）等指标的计算方式及其变体，并指出不同评测报告间结果可能存在差异的陷阱。开发者可据此在榜单中挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门解读，介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由：文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制，便于判断它离生产渲染管线还有多远。
Hugging Face BlogAI 评分4848 如何在生产环境中优化 LLM：Hugging Face 详解低精度、Flash Attention 与架构改进
Hugging Face 发布博客，梳理生产环境部署 LLM 的三类优化技术：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由：原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据、支持任意含 torch.nn.Linear 的模型及多模态模型，后者文本生成更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集，量化 175B 规模模型约需 4 GPU 小时。
Hugging Face Blog精选AI 评分6060 AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
Hugging Face BlogAI 评分2222 使用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的 TTS 模型 Bark。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：实战 DeepFloyd IF
Hugging Face 发布博客演示如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器和三个级联像素扩散模块组成，Stage 1 生成 64x64 px 基础图像，经 Stage 2、Stage 3 逐步放大至 1024x1024 px，并集成 T5-XXL-1.1 编码提示词。
Hugging Face Blog精选AI 评分6666 用 DPO 微调 Llama 2：TRL 库训练教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行，支持文本提示生成音乐。
Hugging Face BlogAI 评分3535 Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
Hugging Face BlogAI 评分3636 如何用 Shap-E 与 Dream Textures 生成 PS1 风格 3D 资产：分步指南
一份分步教程演示如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最终导出 FBX 导入 Unity。流程选择 PS1 低多边形风格，以规避当前 text-to-3D 模型保真度不足的问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 用混合位宽调色板量化在 Mac 上运行 Stable Diffusion XL
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由：原文给出混合位宽调色板量化的完整方法与脚本，读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face BlogAI 评分4242 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其 Hub 上的开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分3838 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 发布实验性 demo AI WebTV，用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段，可选用 zeroscope_v2_XL 放大至 1024x576，再经 FILM 插帧与 MusicGen 配乐，通过 FFmpeg 推流至 RTMP 服务器。
Hugging Face BlogAI 评分3838 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，利用 AMX 加速器与 Intel Extension for PyTorch，仅需 5 张示例图片即可通过 textual inversion 完成训练。
Hugging Face Blog精选AI 评分6060 用 Transformers.js 打造 ML 驱动的网页游戏
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行，每秒可做 60 次以上预测。
推荐理由：完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程，可迁移到其他端侧 ML 项目。
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何通过其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，选用 1x Nvidia A100 实例，约 10 分钟即可上线。
Hugging Face BlogAI 评分3636 用开源 ML 模型打造 Web 应用生成器：WizardCoder-15B 实战教程
Hugging Face 发布教程，演示如何用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 构建流式生成 HTML 的 Web 应用生成器。模型通过 textGenerationStream 边生成边渲染页面，并借助 TailwindCSS 工具类实时生成样式，同时给出提示词调优与防幻觉的实践建议。
Hugging Face BlogAI 评分3434 在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调，更省内存且性能更好。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测确实有效：Autoformer 已加入 Hugging Face Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face BlogAI 评分2828 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化，将权重从 16-bit 浮点压缩到每参数 6 bit，并在推理时逐层解压，从而减少存储和内存占用。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face BlogAI 评分2222 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与演示，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别为例演示按任务和语言筛选模型，并给出将 CSV 数据集上传至 Hub 的步骤。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何在 Unity 游戏中通过 Hugging Face Unity API 实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示了搭建含开始/停止按钮与 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送至 API。
Hugging Face BlogAI 评分3838 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代，单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。
Hugging Face BlogAI 评分3636 BigCode 背后的大规模近重复数据删除技术
Hugging Face 发布 BigCode 项目大规模近重复数据删除的技术详解，采用 MinHash + LSH 方法对代码数据集进行文档级去重，参数为 (256, 0.7, 5)。
Hugging Face BlogAI 评分4242 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数基准指标不降反升。