用 AWS Inferentia2 让 Llama 2 生成速度起飞
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 meta-llama/Llama-2-7b-hf 编译导出为 Neuron 格式，并按预算、延迟、吞吐三种配置部署 7B 与 13B 模型，最大序列长度 2048。
#Hugging Face
#Hugging Face
今日 3 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分2626 Hugging Face Hub 推出存储区域功能
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions，可指定组织模型和数据集的存储位置，目前支持 US 和 EU，亚太区即将上线。该功能用于满足监管与法律合规（如 GDPR）需求，并提升性能：欧洲用户将仓库存于 EU 区域时，上传和下载速度约为存于 US 的 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face Blog精选AI 评分6262 Personal Copilot：用 Hugging Face 代码微调自己的编程助手
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码，微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder（15.5B），训练 12.5 小时、成本约 13.75 美元，而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，以及本地部署路径，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码在 Spotlight 中交互式探索 Hugging Face 数据集
Renumics Spotlight 现可直接读取 Hugging Face datasets，只需一行 spotlight.show(ds) 即可交互式可视化数据集，无需复制或预处理。Spotlight 能利用预测结果和嵌入向量生成相似度图、混淆矩阵等视图，帮助定位关键数据簇与模型失败模式，并支持通过 Python API 自定义数据检查流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理的简单优化方法
Hugging Face 在 A100（40GB）上测试了 SDXL 的多种推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：原文给出 SDXL 在 A100 上的逐项优化实测数据，读者可据此按显存与延迟取舍推理配置。
Hugging Face Blog精选AI 评分6262 RLHF with PPO 的 N 个实现细节：复现 OpenAI 原始代码库
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作，在情感和描述性任务上匹配了原代码库的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face BlogAI 评分3636 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方博客给出 Gradio-Lite 的完整用法与限制，读者可据此判断无服务器部署 Gradio 应用的可行边界。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等 90 多种模型架构。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分4040 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 SDXL 推理。该方案基于 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，纯生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半，实例提供 1、4、8 至 256 芯片多种规格。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转换成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，演示如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，以避免长时间排队。
Hugging Face BlogAI 评分4242 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分1515 Hugging Face 发布 Ethics and Society Newsletter #5：Hugging Face 走进华盛顿与 2023 夏季思考
Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向 E.U.、U.K.、U.S. 立法者提供 AI 价值观与监管建议，包括 CEO Clem 在美国国会作证及 U.S. Senate AI Insight Forum 发言。
Hugging Face Blog精选AI 评分6060 非工程师指南：用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可，读者可据此判断小参数模型的性价比与部署方式。
Hugging Face BlogAI 评分2525 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种模型规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求，并对比 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference 服务，开放 Llama 3、Mixtral 等模型 API
Hugging Face 为 PRO 用户推出 Inference 服务，提供精选模型的专属 API 端点，由 text-generation-inference 驱动，并提升免费 Inference API 的速率限制。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的商户识别从正则表达式系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估，团队选择 Hugging Face Inference API 托管模型，一周内即承接部分流量，并逐步将关键路径流量迁移至其托管服务。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解析
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章详解了 IoU、Average Precision（AP）与 Average Recall（AR）等指标的计算方式及其变体，并指出不同评测报告间结果可能存在差异的陷阱。开发者可据此在榜单中挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 3D Gaussian Splatting 入门：原理、训练流程与图形学前景
Hugging Face 博客发布 3D Gaussian Splatting 入门解读，介绍这一来自论文《3D Gaussian Splatting for Real-Time Radiance Field Rendering》的栅格化技术如何从少量图像实时渲染逼真场景。
推荐理由：文章拆解了 3D Gaussian Splatting 的完整流程与显存、磁盘等实际限制，便于判断它离生产渲染管线还有多远。
Hugging Face BlogAI 评分4848 如何在生产环境中优化 LLM：Hugging Face 详解低精度、Flash Attention 与架构改进
Hugging Face 发布博客，梳理生产环境部署 LLM 的三类优化技术：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 Würstchen 发布：面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件部分在高度压缩的潜空间中工作，实现 42x 空间压缩，推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由：原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据、支持任意含 torch.nn.Linear 的模型及多模态模型，后者文本生成更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集，量化 175B 规模模型约需 4 GPU 小时。
Hugging Face BlogAI 评分3636 SafeCoder 与闭源代码助手对比：Hugging Face 企业级代码助手解析
Hugging Face 发布企业级代码助手 SafeCoder，基于 155 亿参数的 StarCoder 开源模型，支持 80 多种编程语言和 8192 token 上下文窗口。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 SDXL 带来 T2I-Adapter 可控生成支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由：Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers，并给出与 ControlNet 的参数量对比。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face Hub，提供 base 与 chat 两个版本。该模型有 1800 亿参数，在 3.5 万亿 token 的 RefinedWeb 数据上训练，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：原文给出 Falcon 180B 的参数量、训练数据与评测对比，读者可据此判断开源大模型的规模与商用限制。
Hugging Face BlogAI 评分1212 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 通过将机器学习流水线迁移到 Amazon SageMaker，并结合 Hugging Face AWS Deep Learning Container 与 SageMaker Hugging Face Inference Toolkit，把最慢扫描的延迟降低了 50%，文档理解模型准确率提升 200%。
Hugging Face Blog精选AI 评分6060 AudioLDM 2 推理加速：用 Diffusers 把生成时间从 14 秒降到 1 秒
Hugging Face 博客介绍如何在 Diffusers 库中加速 AudioLDM 2 的文本到音频推理，通过半精度、flash attention、torch.compile 和更换调度器等方法，把 10 秒音频的生成时间从约 14 秒降到 1 秒以内，音质下降很小。
推荐理由：原文给出四种开箱即用的推理优化手段，读者可据此把 AudioLDM 2 的生成耗时从 14 秒压到 1 秒以内。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 的代码专用版本接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 训练、专注代码任务的开放模型家族，提供 7B、13B、34B 三种参数规模，并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由：梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径，便于判断能否直接用于代码补全。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 把 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益，可据此判断本地部署大模型的成本变化。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo，仅使用公开数据和模型（LLaMA v1 与 OpenCLIP）构建，提供 9B 和 80B 两个参数规模，各有基础版和指令微调版。
推荐理由：Hugging Face 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face BlogAI 评分5555 Hugging Face 发布企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一款面向企业的自托管代码助手商业解决方案，代码在训练和推理阶段都不离开客户 VPC。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 AWS Marketplace，可用 AWS 账户付费
Hugging Face Hub 已上线 AWS Marketplace，用户可通过 AWS 账户直接支付 Hugging Face 使用费用。订阅后，Inference Endpoints、Spaces Hardware Upgrades 和 AutoTrain 等服务的组织用量费用将自动计入 AWS 账单，价格与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分2222 使用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布教程，演示如何用 Transformers、Optimum 和 Accelerate 库优化 Suno AI 的 TTS 模型 Bark。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：实战 DeepFloyd IF
Hugging Face 发布博客演示如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器和三个级联像素扩散模块组成，Stage 1 生成 64x64 px 基础图像，经 Stage 2、Stage 3 逐步放大至 1024x1024 px，并集成 T5-XXL-1.1 编码提示词。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者能在 Mac 和 iOS 设备上用 Core ML 运行 Llama 2、Falcon 等大语言模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此判断端侧大模型的落地路径。
Hugging Face Blog精选AI 评分6666 用 DPO 微调 Llama 2：TRL 库训练教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 Llama v2 7B 上基于 stack-exchange 偏好数据微调的完整流程。
推荐理由：TRL 官方给出 DPO 在 Llama 2 上的完整训练流程与代码，读者可据此在自己的偏好数据上复现。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行，支持文本提示生成音乐。