用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器，输入 352 x 352 像素图像，可生成粗略分割掩码，用于机器人感知、图像修复等任务，并支持以文本或示例图像作为提示的"视觉提示"。若需更精细结果，可在 Segments.ai 上对 CLIPSeg 输出进行细化。
#Hugging Face
#Hugging Face
今日 4 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分3434 Hugging Face 发布 Model Card 创建工具与 Guide Book
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book，前者提供图形界面，无需编程或 Markdown 即可创建模型卡。同时发布更新版模型卡模板（集成于 huggingface_hub 库）、带注释模板、用户研究及文档现状综述。
Hugging Face BlogAI 评分2828 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。目前 Hub 上已有 77 个语音识别数据集和 28 个音频分类数据集，并支持 Dataset Preview 在线试听样本。
Hugging Face BlogAI 评分3232 Hugging Face 谈机器学习中的偏见：伦理与社会通讯第 2 期
Hugging Face 伦理与社会团队发布通讯第 2 期，讨论机器学习中的偏见问题，指出偏见普遍且复杂，单一技术手段难以有效解决。文章梳理了偏见在 ML 开发各环节的体现，并介绍了 Hugging Face 团队开发的用于识别和应对偏见的数据集与模型工具。
Hugging Face BlogAI 评分4040 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度提升实测
Hugging Face 用 Optimum Habana 在 Habana Gaudi2 上跑 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调，结果显示 Gaudi2 训练与推理速度约为 Nvidia A100 80GB 的两倍。
Hugging Face BlogAI 评分3838 从 GPT2 到 Stable Diffusion：Hugging Face 模型进入 Elixir 生态
Elixir 社区推出 Bumblebee 库，用纯 Elixir 实现了 Hugging Face Transformers，让 GPT2 到 Stable Diffusion 等模型可在 Elixir 中运行。
Hugging Face Blog精选AI 评分6262 图解基于人类反馈的强化学习（RLHF）
Hugging Face 博客图解 RLHF 的完整流程，将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励，并用 KL 散度惩罚约束策略偏离初始模型，同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。
推荐理由：文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文，适合作为理解该流程的入门参考。
Hugging Face BlogAI 评分2222 用深度学习研究蛋白质：面向生物学家与机器学习者的入门指南
Hugging Face 发布《Deep Learning with Proteins》入门指南，面向想入门机器学习的生物学家和想入门生物学的机器学习者，并附上蛋白质语言模型微调（PyTorch、TensorFlow）与 ESMFold 蛋白质折叠（仅 PyTorch）的示例 notebook。
Hugging Face BlogAI 评分3636 用 🤗 Transformers 做概率时间序列预测
Hugging Face 博客介绍如何用 🤗 Transformers 库中的 Time Series Transformer 在自定义数据集上训练概率时间序列预测模型。该模型基于 Encoder-Decoder Transformer 架构，支持自回归采样和缺失值掩码处理，并以澳大利亚 366 个地区的 tourism_monthly 月度旅游数据集为例演示训练流程。
Hugging Face Blog精选AI 评分7070 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助 Apple 工程师提供的转换脚本和推理代码，Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行，Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据，可据此复现或自行转换权重。
Hugging Face BlogAI 评分3030 VQ-Diffusion：基于离散隐空间的扩散模型
中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上进行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型，VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善，可通过 🧨 Diffusers 几行代码调用。
Hugging Face BlogAI 评分88 Hugging Face 启动 2023 年实习生招聘，开放 8 个 AI 方向岗位
Hugging Face 宣布启动 2023 年实习生招聘，开放 8 个岗位，涵盖 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、生成式 ML 社会影响评估和 AI 艺术工具等方向。实习生将与 Hugging Face 导师及相应开源库维护者合作，申请者需通过官方招聘门户提交申请并创建 Hugging Face 账号。
Hugging Face BlogAI 评分2222 Hugging Face 与 Jonathan Whitaker 推出扩散模型课程并举办直播活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布，免费讲解扩散模型的理论与应用。配合课程上线，11 月 30 日将举办社区直播活动，Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲，聚焦扩散模型的高层介绍与构建应用的工具。
Hugging Face BlogAI 评分1212 Hugging Face 机器学习总监洞察第四期：电商与工程领域的 ML 实践
Hugging Face 发布《机器学习总监洞察》第四期，邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位 ML 总监分享机器学习对各自行业的影响。
Hugging Face BlogAI 评分2222 Hugging Face 推理方案概览：Inference Widget、Inference API、Inference Endpoints 与 Spaces
Hugging Face 梳理了其推理方案：模型页上的免费 Inference Widget 可一键上传样本预测，底层由免费 Inference API 驱动，凭模型 URL 和 hub token 即可用 HTTP 请求调用，但因限流不建议用于生产。
Hugging Face BlogAI 评分4040 Hugging Face 发布 Document AI 开源模型选型指南
Hugging Face 发布 Document AI 指南，梳理 OCR、文档图像分类、版面分析、文档解析等六大用例及对应开源模型。文档图像分类中，LayoutLMv3 与 Donut 等多模态模型在 RVL-CDIP 上达 95% 准确率，高于 BERT-base 的 89% 和纯视觉 DiT 的 92%；LayoutLMv3 在 PubLayNet 上取得 0.951 mAP。
Hugging Face BlogAI 评分4040 Hugging Face Spaces 与 arXiv 集成，论文页面新增 Demo 标签页
Hugging Face 与 arXiv 合作，将 Spaces 通过 arXivLabs 集成到论文页面，新增 Demo 标签页，可直接链接社区或作者创建的开源演示。
Hugging Face BlogAI 评分2828 用同态加密在加密数据上做情感分析：Concrete-ML 实战教程
Hugging Face 发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）环境下构建情感分析模型，数据科学家无需密码学背景即可上手。方案用 BERT 提取文本隐藏表示（hidden size 768），再交给 XGBoost 分类，并通过客户端/服务器协议部署到云端，最后在 Hugging Face Spaces 提供完整演示。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 transformers 中引入对比搜索解码方法
Hugging Face 博客介绍对比搜索（Contrastive Search）已集成进 transformers，PyTorch 和 TensorFlow 均可用，需安装 transformers==4.24.0。
推荐理由：对比搜索已进入 transformers，文中给出可复现代码与三种解码方法的生成效果对照。
Hugging Face BlogAI 评分3030 Hugging Face 更新定价：Inference API 付费层下线，推出 Inference Endpoints
Hugging Face 宣布下线 Inference API 的付费层，该服务仍对所有人免费开放，同时推出企业级推理服务 Inference Endpoints，并为 Spaces 提供硬件升级。这些服务无需订阅，只需在账单设置中绑定信用卡即可使用，所有付费服务按月计费并提供合并发票。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议
Hugging Face 用 Diffusers 的 Dreambooth 训练脚本做了大量实验，分析不同超参数对微调 Stable Diffusion 的影响并给出推荐设置。
推荐理由：基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议，可直接迁移到自己的训练流程。
Hugging Face Blog精选AI 评分6262 用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 在任意多语言 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例，用约 8 小时训练数据微调 244M 参数的 Whisper small，最佳 WER 为 32.0%，相比预训练模型的 63.5% 提升 31.5 个百分点。
推荐理由：以 8 小时印地语数据微调 Whisper small 的完整流程，WER 从 63.5% 降至 32.0%，可复用的多语言 ASR 微调方法。
Hugging Face BlogAI 评分3838 Hugging Face 在 Optimum Intel 中集成 OpenVINO，加速 Transformer 模型推理
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel，用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型执行推理，模型可托管于 Hugging Face hub 或本地。
Hugging Face BlogAI 评分3434 Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标
Hugging Face 为 🤗 Evaluate 库新增偏见度量与测量功能，用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该流程先用 🤗 Datasets 中的预定义提示词生成文本，再用 🤗 Evaluate 的指标打分，示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务。
Hugging Face BlogAI 评分3434 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，演示如何通过三个递进抽象层级实现多 GPU 分布式训练：原生 PyTorch DDP、🤗 Accelerate 轻量封装以及 🤗 Transformer 的 Trainer API。Accelerate 可在零代码改动下支持单 GPU 和 TPU 运行，Trainer 则抽象掉所有样板代码并支持多种设备和分布式场景。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖多达 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 2000 多条结果汇总成统一榜单，读者可据此理解文本嵌入模型的选型依据。
Hugging Face BlogAI 评分3838 Hugging Face Inference Endpoints 上手指南
Hugging Face 推出 Inference Endpoints，可将 Hub 上的模型一键部署到云端托管基础设施。文中以 Swin 图像分类模型为例，演示了在 AWS eu-west-1 单 GPU 实例上部署，并介绍 Public、Protected、Private 三种访问级别，其中 Private 通过 AWS PrivateLink 的 VPC Endpoint 访问。
Hugging Face Blog精选AI 评分6262 Hugging Face Diffusers 0.5.1 起支持 Flax，在 TPU 上用 JAX 运行 Stable Diffusion
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时，可迁移到多设备推理。
Hugging Face Blog精选AI 评分6262 Hugging Face 复盘 BLOOM 推理优化：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 团队复盘了为 BLOOM 构建推理服务器的优化过程，在数周内实现延迟降低 5 倍、吞吐提升 50 倍。
推荐理由：Hugging Face 团队复盘 BLOOM 推理优化全过程，从 PP 到 TP、自定义 kernel 的取舍细节可供工程实践参考。
Hugging Face BlogAI 评分3030 Hugging Face 为模型和数据集引入 DOI
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI，其他人在模型或数据集页面点击“Cite this model/dataset”即可引用。该功能与 DataCite 合作，注册用户填写元数据后即可获得 DOI，新版本发布时 DOI 可更新、旧版本随之失效。带 DOI 的数据集和模型将永久保留，仅能通过向官方提交请求删除。
Hugging Face BlogAI 评分4242 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion，可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
Hugging Face BlogAI 评分5050 Hugging Face 在 Hub 上推出零样本评估，支持 660 亿参数大模型免费评测
Hugging Face 的 Evaluation on the Hub 现已支持对 Hub 上任意因果语言模型进行零样本评估，无需编写代码，由 AutoTrain 驱动，目前支持最高 660 亿参数的模型，更大模型的支持即将推出。
Hugging Face BlogAI 评分3838 Hugging Face AutoTrain 新增图像分类功能
Hugging Face AutoTrain 新增图像分类任务，用户无需编写代码即可训练模型。上传数据后选择模型候选数量，AutoTrain 会自动尝试多个模型架构并停止表现不佳的训练，最佳模型达到 84% 准确率。使用 5 个候选模型且图片少于 500 张时可免费训练。
Hugging Face Blog精选AI 评分6262 Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint，在显存与内存不足的消费级硬件上加载并运行超大语言模型。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的完整流程，可迁移到本地部署实践。
Hugging Face Blog精选AI 评分6262 Hugging Face 联合 Intel Labs 与 UKP Lab 发布 SetFit 少样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作发布 SetFit，一个无需提示词的 Sentence Transformers 少样本微调框架。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可据此判断少样本分类的可用性与成本。
Hugging Face BlogAI 评分1212 Hugging Face 推出 Ethics and Society 通讯，首期聚焦 AI 伦理落地
Hugging Face 发布首期 Ethics and Society 通讯，计划按季节在春分、秋分、夏至、冬至发布，由公司内部跨团队开放小组“Ethics and Society regulars”共同撰写。该通讯围绕协作、责任与透明三大创始价值观，分享将伦理落地到机器学习开发中的思考与实践。Hugging Face 同期上线模型与 Spaces 仓库“flag”功能，用于上报伦理与法律问题。
Hugging Face Blog精选AI 评分6060 用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理，并给出在 8x80GB A100 上的实测数据。
推荐理由：文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用，可作为大模型推理部署的选型参考。
Hugging Face Blog精选AI 评分6262 diffusers 0.3 发布：新增图生图、Textual Inversion 与显存优化
Hugging Face 发布 diffusers 0.3，新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由：diffusers 0.3 集中补齐图生图、Textual Inversion 与显存优化，可据此判断扩散模型工具链的成熟度。
Hugging Face BlogAI 评分2626 如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你从零训练一个离线 Decision Transformer，让 HalfCheetah 学会奔跑。该模型基于 GPT-2 架构，将强化学习抽象为条件序列建模问题，通过输入 Return-to-go、状态和动作自回归预测未来动作。
Hugging Face BlogAI 评分3030 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型并接入 Transformers。Megatron-LM 通过高效 DataLoader、Fused CUDA Kernels 和 Apex 的 Fused AdamW 优化器提升训练速度，但上手难度高于 Accelerate 和 Trainer。