用 🤗 datasets 构建图像搜索应用
Hugging Face 的 🤗 datasets 库新增图像特征类型，可结合 faiss 索引实现图像相似度搜索。文章以英国图书馆数字化书籍插图数据集为例，演示用 ImageFolder 加载器直接读取图像数据集，并配合 sentence_transformers 与 faiss 搭建图像搜索应用。
#Hugging Face
#Hugging Face
今日 3 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分4646 在 🤗 Transformers 中用约束束搜索引导文本生成
Hugging Face 为 🤗 Transformers 的 model.generate() 新增约束束搜索（constrained beam search）功能，通过 force_words_ids 参数强制生成结果包含指定词。
Hugging Face BlogAI 评分2222 用 🤗 Transformers 微调 ViT 进行图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集，并借助 🤗 transformers 微调预训练 ViT 模型。教程使用 google/vit-base-patch16-224-in21k 及其配套 ViTImageProcessor，将图像切分为 patch 并嵌入为 token 序列后送入模型训练。
Hugging Face BlogAI 评分3838 如何用 Python 入门情感分析
Hugging Face Hub 上已有超过 215 个情感分析模型，配合 transformers 的 pipeline 类，5 行 Python 代码即可完成情感分析。Hub 共收录超 27000 个模型，覆盖约 28 种语言，并提供 Colab notebook 供用户用自己的数据测试。
Hugging Face Blog精选AI 评分6262 如何在 🤗 Transformers 中用 Wav2Vec2 处理长音频的语音识别
Hugging Face 博客介绍如何利用 Wav2Vec2 的 CTC 结构，在 🤗 Transformers 中对任意长音频做语音识别。
推荐理由：原文给出带 stride 的分块推理方法，读者可据此在长音频和实时场景中复用 Wav2Vec2。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出增强搜索功能：huggingface_hub 新增 ModelSearchArguments 与 ModelFilter
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter 类，让用户无需离开 Jupyter 或 Python 环境即可编程式搜索 Hub 上的模型与数据集。
Hugging Face BlogAI 评分2222 Hugging Face Hub 集成 Stable-Baselines3，支持上传与加载强化学习模型
Hugging Face 宣布将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub，用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face BlogAI 评分2222 Hugging Face Infinity 在 Intel Ice Lake CPU 上实现毫秒级延迟案例研究
Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器（Ice Lake）上的推理基准：经 Infinity Multiverse 优化的 DistilBERT 容器相比同平台原生 Transformers 延迟与吞吐最高提升 800%，相比 Cascade Lake 实例提升 34%。
Hugging Face BlogAI 评分3636 在 🤗 Transformers 中用 n-gram 语言模型增强 Wav2Vec2 语音识别
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库，可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于语音识别解码。
Hugging Face BlogAI 评分3838 用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 发布教程，介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型做实时推理。
Hugging Face BlogAI 评分2222 如何用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线：用 Prodigy 对 BBC News 数据集做 NER 标注，仅约 20 条样本即可用 AutoNLP 训练模型。
Hugging Face Blog精选AI 评分6262 Gradio 加入 Hugging Face
Hugging Face 收购机器学习初创公司 Gradio，Gradio 联合创始人发文确认这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布，用于让机器学习工程师快速搭建并分享模型 demo，目前已有超过 30 万个 demo 基于该库构建。作者表示加入 Hugging Face 后将继续发展 Gradio，让任何有浏览器的人都能使用机器学习模型。
推荐理由：Gradio 创始人以当事方视角讲述被 Hugging Face 收购的经过，并回顾该开源库从 2019 年起步到 30 万 demo 的历程。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 Perceiver IO 加入 Transformers，统一处理文本图像音频视频
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套统一处理文本、图像、音频、视频的架构如何实现。
Hugging Face BlogAI 评分4242 Hugging Face 从零训练 GPT-2 代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练 GPT-2 large（1.5B 参数）代码生成模型 CodeParrot，可自动补全 Python 代码。
Hugging Face BlogAI 评分2222 Hugging Face 推出首个 ML-Agents 环境 Snowball Fight ☃️
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，玩家可在 Hugging Face Spaces 上在线与深度强化学习智能体对战扔雪球。该环境基于 Unity ML-Agents 构建并已开源托管于 Hugging Face Hub，后续还将推出 Snowball Fight 2vs2 版本，使用 MA-POCA 算法训练智能体团队协作。
Hugging Face BlogAI 评分2222 Hugging Face Optimum 入门：在 Graphcore IPU 上加速 Transformer
Hugging Face 与 Graphcore 合作推出开源库 Optimum，用于降低 Transformer 模型在多种硬件上的预测延迟，首个 IPU 优化模型为 BERT。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Data Measurements Tool：交互式数据集分析工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算缺失值、词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 XLSR-Wav2Vec2 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将预训练检查点 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别，示例数据集为 Common Voice 土耳其语，仅约 4 小时验证训练数据。
Hugging Face BlogAI 评分2222 在现代 CPU 上扩展类 BERT 模型推理（第二部分）：用 Intel 软件优化 CPU 上的 AI 效率
Hugging Face 发布博客第二部分，介绍如何借助 Intel oneAPI 软件栈在现代 Xeon CPU 上优化类 BERT 模型推理。Intel Ice Lake 代 Xeon 在多种 NLP 任务上推理速度最高比上代 Cascade Lake 快 75%，依托 AVX512、VNNI 指令及 oneMKL、oneDNN、OpenMP、oneTBB 等库。
Hugging Face BlogAI 评分3030 大语言模型：新的摩尔定律？
微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但复现成本接近 1 亿美元，单台 DGX A100 服务器售价 19.9 万美元、功耗达 6.5 千瓦。
Hugging Face BlogAI 评分2222 Hugging Face 课程第二部分发布暨社区活动
Hugging Face 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动包含两天讲座和团队项目，AWS 通过 Amazon SageMaker 提供免费算力，完成项目者可获结业证书。
Hugging Face BlogAI 评分4242 Hugging Face 用 10 亿句对训练句嵌入模型
Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型，硬件为 7 块 TPU v3-8，并获得 Google Flax、JAX 与 Cloud 团队指导。训练采用批内负样本的对比学习目标（InfoNCE/NTXentLoss），通过增大 batch size、引入 hard negatives 和跨数据集组批提升效果。模型与数据集已在模型卡中公开。
Hugging Face BlogAI 评分2222 Hugging Face：机器学习即代码的时代已经到来
Hugging Face 发文指出，机器学习正像十年前的 DevOps 一样走向"机器学习即代码"，软件工程的最佳实践应被数据科学与机器学习采纳。Kaggle 调查显示 75% 受访者使用云服务、超 45% 使用企业 ML 平台，前三为 Amazon SageMaker、Databricks 和 Azure ML Studio。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述文本微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，使其能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强与 Marian MT 回译文本增强抑制过拟合。模型、项目页与 demo 均已公开，可用于以文本查询大规模卫星图像库。
Hugging Face BlogAI 评分3434 用 Gradio 在 Hugging Face Spaces 中展示你的项目
Gradio 与 Hugging Face Hub 集成，只需定义 Interface 并调用 .launch() 即可演示模型，底层调用 Inference API，支持 Transformers、spaCy、SpeechBrain、Asteroid 及 image-to-text、speech-to-text、text-to-speech 等模型类型。
Hugging Face BlogAI 评分2525 用 Streamlit 在 Hugging Face Spaces 上托管模型与数据集
Hugging Face 发布博客，介绍如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署 Streamlit 应用。
Hugging Face BlogAI 评分2222 Hugging Face 夏季回顾：Spaces Beta、模型破 16000 与 JAX/Flax Sprint
Hugging Face 回顾夏季进展：Hub 上的公开模型仓库从 1 万个增至超过 1.6 万个，并推出可直接托管 ML 演示应用的 Spaces Beta，支持 Gradio 和 Streamlit。7 月举办的 JAX/Flax Sprint 吸引近 800 名参与者，产出 170 多个模型、22 个数据集和 38 个 Spaces 演示。
Hugging Face BlogAI 评分2222 Hugging Face 与 Graphcore 合作推出 IPU 优化的 Transformer 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动 Hardware Partner Program，Graphcore 作为创始成员参与，双方将让开发者通过 Optimum 开源库在 IPU 上部署经认证的硬件优化 Transformer 模型，首批 IPU 优化模型将于今年晚些时候上线。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Optimum：面向大规模 Transformer 的优化工具库
Hugging Face 发布开源库 Optimum，目标是成为 Transformer 生产性能的优化工具集，让模型在特定硬件上训练和推理达到最高效率。Optimum 与硬件伙伴合作，把稀疏化、量化等加速技术与目标硬件适配的复杂度抽象出来，首个合作案例是 Intel Neural Compressor，用于在 Intel Xeon CPU 上量化模型。
推荐理由：Hugging Face 官方发布 Optimum 开源库，读者可了解其如何把硬件加速与量化流程抽象成统一工具。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 团队提出 DeDLOC 协作式分布式训练方法，可自适应参与者的网络与硬件条件，并用 40 名志愿者在互联网上预训练出孟加拉语模型 sahajBERT。
推荐理由：Hugging Face 团队用 40 名志愿者在互联网上预训练出孟加拉语模型，给出了分布式协作训练在真实场景中的完整方法与评测结果。
Hugging Face BlogAI 评分4242 Hugging Face Hub 正式支持 spaCy 模型
Hugging Face Hub 现已支持 spaCy，用户可通过一条命令上传任意 spaCy pipeline 包，并自动生成模型卡和元数据。Hub 的 spaCy 组织已收录 60 多个来自 3.1 版本的官方模型，Inference API 开箱支持 NER，并配有 NER 可视化组件。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Amazon SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 发布面向 Amazon SageMaker 的 Inference DLC 与 Inference Toolkit，只需一行代码即可部署训练好的 Transformer 模型，或从 Model Hub 的 10,000+ 公开模型中选择部署。
Hugging Face BlogAI 评分4242 Hugging Face Hub 集成 Sentence Transformers，发布 v2 版本与推理组件
Hugging Face Hub 与 Sentence Transformers 达成集成，随 Sentence Transformers v2 发布，Hub 上已有 90 多个预训练模型、覆盖 100 多种语言。
Hugging Face BlogAI 评分3434 实战少样本学习：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 发文介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现少样本学习预测。
Hugging Face BlogAI 评分5050 用 Gradio 2.0 加载与混搭 Hugging Face 模型
Gradio 2.0 发布，只需 1 行代码即可为几乎任意 Hugging Face 模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers。该版本支持并行加载多个模型进行对比，或将模型串联组合，例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用。
Hugging Face BlogAI 评分3636 Hugging Face 如何用 CPU 扩展 BERT 推理（上）：核心数与批大小调优
Hugging Face 发布博客第一部分，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，测试基于 AWS c5.metal 的 Intel Xeon Platinum 8275（48 核/96 线程），使用 transformers 4.5.0、PyTorch 1.8.1 与 TensorFlow 2.4.0。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 库，让原生 PyTorch 训练脚本支持分布式与混合精度
Hugging Face 发布开源库 Accelerate，让 PyTorch 用户在不改写训练循环的前提下使用分布式训练和混合精度。只需在标准训练脚本中加入约五行代码，Accelerate 就会自动完成设备放置、模型与优化器包装、数据加载器分片以及反向传播处理，并配套 accelerate config 与 accelerate launch 命令行工具。
推荐理由：原文给出五处代码改动即可让原生 PyTorch 脚本支持分布式与混合精度，可据此评估迁移成本。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出优化版 Deep Learning Containers，配合 SageMaker Python SDK 中的 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分4040 深入理解 BigBird 的块稀疏注意力机制
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型已集成进 🤗Transformers。BigBird 用块稀疏注意力近似 BERT 的全局注意力，可处理长达 4096 的序列，计算成本远低于 BERT，并在长文档摘要、长上下文问答等任务上取得 SOTA。其注意力由滑动注意力、全局 token 和随机 token 三部分组成。
Hugging Face BlogAI 评分5252 Hugging Face 与 Amazon 达成战略合作，推出 SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 建立战略合作，并以 AWS 作为其首选云服务商，双方推出 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中训练 Transformers 模型。