开源 LLM 作为 LangChain 智能体：Mixtral 表现超过 GPT-3.5
Hugging Face 在 LangChain 中集成 ChatHuggingFace，让开源模型可直接构建 ReAct 智能体，并发布智能体库 smolagents。
推荐理由：给出 ReAct 智能体的完整实现路径与开源模型对比数据，可据此判断哪些模型适合驱动智能体工作流。
#Hugging Face
#Hugging Face
今日 4 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
Hugging Face BlogAI 评分2222 IBM Research 与 Hugging Face 在 Transformers 库中发布 PatchTSMixer
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时间序列模型 PatchTSMixer，它基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的混合以及多种注意力机制。
Hugging Face BlogAI 评分3838 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的 LLM 对齐方法实证评测
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 对齐方法，扫描 β 等关键超参数并用 MT-Bench 评估。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤，适合想低成本分享工作流的读者。
Hugging Face BlogAI 评分2727 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的 leaderboard 模板发布了新版 HHEM 幻觉排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。
Hugging Face Blog精选AI 评分7272 Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存降低 40%
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
Hugging Face BlogAI 评分5757 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，这是对 Google MUSE 的开源复现，采用 Masked Image Model（MIM）方法而非常见的潜在扩散路线，以研究预览版和宽松许可证发布。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由：汇总 SDXL Dreambooth LoRA 微调的社区最佳实践，并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Hugging Face BlogAI 评分3636 2023：开源大语言模型之年
Hugging Face 回顾 2023 年开源 LLM 进展，指出公众对开源与闭源模型的讨论已触及广泛受众。2022 年的开源模型仍延续规模竞赛，如 176B 参数的 BLOOM、175B 参数的 OPT 和 GLM-130B，而 2023 年转向对数据的重视。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，在多项基准上超过 Llama 2 70B 并追平或超过 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在生态内的完整接入路径，读者可据此判断 MoE 模型的部署与微调成本。
Hugging Face BlogAI 评分3434 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个面向领域特定方面级情感分析（ABSA）的少样本训练框架，在少样本场景下表现可媲美甚至超越 Llama2、T5 等生成式模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
推荐理由：Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据，读者可据此判断多 LoRA 共享部署的可行性与代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据，读者可据此判断现有 LLaMA 推理流程的改造成本。
Hugging Face BlogAI 评分5757 Hugging Face 与 AMD 实现 AMD GPU 开箱即用的大模型加速
Hugging Face 与 AMD 公布合作进展，Transformers 模型无需改动代码即可在 AMD Instinct GPU 上运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
Hugging Face BlogAI 评分3838 Open LLM Leaderboard 的 DROP 基准深度排查
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查，发现绝大多数模型 f1-score 低于 10 分。原因包括归一化步骤在数字后跟非空格空白字符时失效，以及用「.」作为停止词会截断浮点答案、让高质量模型因生成过长而得分更低。改用「\n」作为停止词后，分数与整体表现的相关性明显改善。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，SDXL 4 步即可出图
Hugging Face 发布 Latent Consistency LoRA（LCM LoRA），通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由：LCM LoRA 把 SDXL 推理从 25 步压到 4 步，并给出各硬件实测速度，可据此判断生成工作流的改动空间。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类对比：基于 LoRA 的微调评测
Hugging Face 博客用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1 三个模型，在灾难推文二分类任务上做对比评测。实验统一设置 MAX_LEN=512，在单张 A6000（48GB）上训练，并用 Weights & Biases 做超参调优与实验记录。
Hugging Face BlogAI 评分2222 Explosion 推出 Prodigy-HF：与 Hugging Face 直接集成
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face BlogAI 评分3838 用 AWS Inferentia2 让 Llama 2 生成速度起飞
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 meta-llama/Llama-2-7b-hf 编译导出为 Neuron 格式，并按预算、延迟、吞吐三种配置部署 7B 与 13B 模型，最大序列长度 2048。
Hugging Face BlogAI 评分2626 Hugging Face Hub 推出存储区域功能
Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions，可指定组织模型和数据集的存储位置，目前支持 US 和 EU，亚太区即将上线。该功能用于满足监管与法律合规（如 GDPR）需求，并提升性能：欧洲用户将仓库存于 EU 区域时，上传和下载速度约为存于 US 的 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face Blog精选AI 评分6262 Personal Copilot：用 Hugging Face 代码微调自己的编程助手
Hugging Face 博客介绍如何基于 huggingface GitHub 组织的公开仓库代码，微调出名为 HugCoder 的代码补全模型。作者用 QLoRA 在单张 A100 40GB 上微调 bigcode/starcoder（15.5B），训练 12.5 小时、成本约 13.75 美元，而 8 张 A100 80GB 全量微调耗时 9 小时、约 108 美元。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，以及本地部署路径，可迁移到自有代码库。
Hugging Face BlogAI 评分3838 用一行代码在 Spotlight 中交互式探索 Hugging Face 数据集
Renumics Spotlight 现可直接读取 Hugging Face datasets，只需一行 spotlight.show(ds) 即可交互式可视化数据集，无需复制或预处理。Spotlight 能利用预测结果和嵌入向量生成相似度图、混淆矩阵等视图，帮助定位关键数据簇与模型失败模式，并支持通过 Python API 自定义数据检查流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 推理的简单优化方法
Hugging Face 在 A100（40GB）上测试了 SDXL 的多种推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：原文给出 SDXL 在 A100 上的逐项优化实测数据，读者可据此按显存与延迟取舍推理配置。
Hugging Face Blog精选AI 评分6262 RLHF with PPO 的 N 个实现细节：复现 OpenAI 原始代码库
Hugging Face 博客发布对 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences 的复现工作，在情感和描述性任务上匹配了原代码库的学习曲线，并整理出一份实现细节清单。
推荐理由：作者复现 OpenAI 原始 RLHF 代码并逐条列出实现细节，其中 PyTorch 与 TensorFlow 版 Adam 的差异会直接影响训练稳定性。
Hugging Face BlogAI 评分3636 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方博客给出 Gradio-Lite 的完整用法与限制，读者可据此判断无服务器部署 Gradio 应用的可行边界。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 BERT、GPT2、T5、Whisper、Stable-Diffusion 等 90 多种模型架构。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分4040 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 SDXL 推理。该方案基于 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，纯生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半，实例提供 1、4、8 至 256 芯片多种规格。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 tokenizer 引入 chat_template 属性
Hugging Face 的 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，把消息列表转换成正确格式的字符串。
推荐理由：Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板，读者可据此理解格式错配为何会静默拖垮模型表现。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，演示如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，以避免长时间排队。
Hugging Face BlogAI 评分4242 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分1515 Hugging Face 发布 Ethics and Society Newsletter #5：Hugging Face 走进华盛顿与 2023 夏季思考
Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向 E.U.、U.K.、U.S. 立法者提供 AI 价值观与监管建议，包括 CEO Clem 在美国国会作证及 U.S. Senate AI Insight Forum 发言。
Hugging Face Blog精选AI 评分6060 非工程师指南：用 AutoTrain 和 ChatUI 训练 LLaMA 2 聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具、全程不写一行代码，把 LLaMA 2 7b 基础模型微调成聊天机器人并部署成可分享的聊天应用。
推荐理由：Hugging Face 官方给出零代码微调 LLaMA 2 并部署聊天应用的完整三步流程，可迁移到其他开源模型。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可，读者可据此判断小参数模型的性价比与部署方式。
Hugging Face BlogAI 评分2525 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种模型规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求，并对比 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference 服务，开放 Llama 3、Mixtral 等模型 API
Hugging Face 为 PRO 用户推出 Inference 服务，提供精选模型的专属 API 端点，由 text-generation-inference 驱动，并提升免费 Inference API 的速率限制。