TRL 库新增对视觉语言模型（VLM）的 DPO 支持
Hugging Face 的 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分3838 微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 规模的基础视觉语言模型，支持 captioning、目标检测、OCR 等任务，但官方模型不含 VQA 能力。
Hugging Face BlogAI 评分2828 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增低精度模式供显存受限场景使用。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，以解决内容割裂、难导航、过时的问题。新版文档将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并用更灵活的结构取代此前对 Diátaxis 框架的僵化套用，让内容自然生长、彼此整合而非层层叠加。
Hugging Face BlogAI 评分2424 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana，可加速文本生成。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face BlogAI 评分3636 Hugging Face 如何对 Text Generation Inference 进行基准测试
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
Hugging Face BlogAI 评分3636 用 Sentence Transformers 训练与微调嵌入向量模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型，以提升其在检索增强生成、语义搜索、语义文本相似度等任务上的表现，也可用于从零训练新模型。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 部署企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face BlogAI 评分5050 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 通过自定义 inference handler 在 Inference Endpoints 上部署 Whisper，实现 ASR、说话人分离与推测解码的组合流水线。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的前提下拉取源码最新改动。
Hugging Face BlogAI 评分3434 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署，全程无需解密数据。以 concrete-ml-encrypted-decisiontree 为例，691 个样本上准确率约 0.896，单次推理约 4.12 秒，目前仅支持 CPU。
Hugging Face Blog精选AI 评分6262 视觉语言模型解析：架构、选型与 TRL 微调实践
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影层与文本解码器的典型结构，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B 等开源模型。文章给出用 transformers 推理 LlavaNext 的代码，并宣布 TRL 的 SFTTrainer 新增对视觉语言模型的实验性支持，附基于 llava-instruct 数据集的微调示例。
推荐理由：系统梳理视觉语言模型的架构、选型与微调流程，并给出可直接运行的 transformers 与 TRL 代码示例。
Hugging Face BlogAI 评分2626 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是专为 DuckDB SQL 设计的大语言模型，基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据进一步优化，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化，可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，从而实现生产级部署。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，讲解这一开源 Python 库如何调用数千个预训练模型，并区分了 Hub 与 Spaces 的用途。教程以在 Space 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G GPU（每小时几美元），通过 Docker 模板部署 JupyterLab notebook 完成实操。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解嵌入二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中，二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘，而常规 float32 检索需要 200GB 内存和 200GB 磁盘。
推荐理由：Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测，可据此评估检索成本与性能的取舍。
Hugging Face Blog精选AI 评分6262 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，使 70 亿参数模型（如 Llama 架构）能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例，读者可据此在消费级硬件上复现训练流程。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 集成 OpenVINO，将微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在一台搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。
Hugging Face BlogAI 评分3434 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示了如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上加速 BGE 嵌入模型并接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 和自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端的预处理与后处理。
Hugging Face BlogAI 评分3838 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印与生成后添加水印两种方式，并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案，并讨论开放与闭源水印的利弊。
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。
Hugging Face BlogAI 评分3838 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门博客，介绍这类模型能产出多种维度的可用嵌入，将重要信息前置到靠前的维度，截断后仍能保持性能。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练定制模型：成本、延迟与碳排放对比
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战指南
Hugging Face 博客给出 PatchTST 的上手示例，先在 Electricity 数据集上直接训练并评估其预测能力，再用已训练模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分2727 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成，让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍；4bit 权重量化进一步压缩模型体积，相关 demo 已上线 Hugging Face Spaces。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：Mixtral 表现超过 GPT-3.5
Hugging Face 在 LangChain 中集成 ChatHuggingFace，让开源模型可直接构建 ReAct 智能体，并发布智能体库 smolagents。
推荐理由：给出 ReAct 智能体的完整实现路径与开源模型对比数据，可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。
Hugging Face BlogAI 评分3838 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的 LLM 对齐方法实证评测
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 对齐方法，扫描 β 等关键超参数并用 MT-Bench 评估。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤，适合想低成本分享工作流的读者。
Hugging Face BlogAI 评分2727 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的 leaderboard 模板发布了新版 HHEM 幻觉排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由：汇总 SDXL Dreambooth LoRA 微调的社区最佳实践，并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时数学上保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，系统讲解 MoE 的构成、训练与推理权衡。
推荐理由：系统梳理 MoE 的构成、训练与推理权衡，并给出并行与部署的实践取舍，适合理解稀疏模型工程细节。
Hugging Face BlogAI 评分3434 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个面向领域特定方面级情感分析（ABSA）的少样本训练框架，在少样本场景下表现可媲美甚至超越 Llama2、T5 等生成式模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
推荐理由：Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据，读者可据此判断多 LoRA 共享部署的可行性与代价。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类对比：基于 LoRA 的微调评测
Hugging Face 博客用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1 三个模型，在灾难推文二分类任务上做对比评测。实验统一设置 MAX_LEN=512，在单张 A6000（48GB）上训练，并用 Weights & Biases 做超参调优与实验记录。