Hugging Face 机器学习专家访谈:Sasha Luccioni 谈 AI 碳足迹与数据伦理
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组,关注数据策展、多语言性与模型训练数据的伦理问题。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组,关注数据策展、多语言性与模型训练数据的伦理问题。
Gradio 发布 3.0 版本,对库进行了彻底重设计。新版前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类,同时推出低层语言 Gradio Blocks,让开发者用 Python 构建自定义布局和多步数据流的 Web 应用。官方还举办 Gradio Blocks Party 竞赛,持续到 5 月底。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解自定义 ML 演示界面的新写法。
Hugging Face 博客发布“机器学习总监洞察”系列第二期 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,项目于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 开源库 Optimum 发布 1.2 版本,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx 直接调用。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模与投资方,并给出平台模型、数据集和客户体量,可据此了解当时开源 ML 生态的商业化进展。
fastai 现已集成 Hugging Face Hub,开发者用一行 Python 即可将 fastai Learner 上传至 Hub 分享。需安装 fastai>=2.4、fastcore>=1.3.27 和 toml,通过 push_to_hub_fastai 上传、from_pretrained_fastai 加载,Hub 提供免费托管、基于 git 的版本控制和模型卡。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖强化学习框架、马尔可夫性质、动作空间、奖励折扣与探索/利用权衡等概念。课程使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库,并让学员训练首个登月着陆器智能体并上传至 Hugging Face Hub。
Hugging Face 展示了如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类。
Hugging Face 与 Habana Labs 合作,将 Gaudi 加速器的性价比优势带入 Transformers,其训练机器学习模型的性价比相比最新 GPU 版 Amazon EC2 实例最高提升 40%。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及已翻译成 8 种语言的教师工具包。此前 3 月的 ML demo.cratization 巡讲已为 16 个国家超 1000 名学生授课。
Hugging Face 发布博客,演示如何用其生态工具搭建客户服务场景的文本分类系统,将客户消息按满意度分为 very unsatisfied 到 very satisfied 五类,以优先回复最不满意的客户。文章以 Amazon reviews multi 数据集为例,说明如何按任务类型筛选数据集并评估质量与规模,并建议用内部数据训练模型。
Hugging Face Hub 新增 emissions_threshold 参数,可按训练碳排放量筛选模型,例如上限 100 克可筛出 191 个模型,下限 500 克则筛出 10 个。transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略",即模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码因此在不同模型文件里被复制了 50 多次。官方给出的理由包括:该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后很少被改动。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布九个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人,现于 Hugging Face 制定伦理 AI 研究协议。
Hugging Face 推出为期 9 个月的 AI Research Residency Program,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。项目为全职、可远程,申请截止 2022 年 4 月 3 日,欢迎各类背景申请者。
Hugging Face 发布教程,演示如何用自定义数据集微调 SegFormer 语义分割模型,并以披萨配送机器人识别 sidewalk 为例。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 的 🤗 datasets 库新增图像特征类型,可结合 faiss 索引实现图像相似度搜索。文章以英国图书馆数字化书籍插图数据集为例,演示用 ImageFolder 加载器直接读取图像数据集,并配合 sentence_transformers 与 faiss 搭建图像搜索应用。
Hugging Face 为 🤗 Transformers 的 model.generate() 新增约束束搜索(constrained beam search)功能,通过 force_words_ids 参数强制生成结果包含指定词。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集,并借助 🤗 transformers 微调预训练 ViT 模型。教程使用 google/vit-base-patch16-224-in21k 及其配套 ViTImageProcessor,将图像切分为 patch 并嵌入为 token 序列后送入模型训练。
Hugging Face Hub 上已有超过 215 个情感分析模型,配合 transformers 的 pipeline 类,5 行 Python 代码即可完成情感分析。Hub 共收录超 27000 个模型,覆盖约 28 种语言,并提供 Colab notebook 供用户用自己的数据测试。
Hugging Face 博客介绍如何利用 Wav2Vec2 的 CTC 结构,在 🤗 Transformers 中对任意长音频做语音识别。
推荐理由:原文给出带 stride 的分块推理方法,读者可据此在长音频和实时场景中复用 Wav2Vec2。
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter 类,让用户无需离开 Jupyter 或 Python 环境即可编程式搜索 Hub 上的模型与数据集。
Hugging Face 宣布将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器(Ice Lake)上的推理基准:经 Infinity Multiverse 优化的 DistilBERT 容器相比同平台原生 Transformers 延迟与吞吐最高提升 800%,相比 Cascade Lake 实例提升 34%。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库,可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于语音识别解码。
Hugging Face 发布教程,介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型做实时推理。
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线:用 Prodigy 对 BBC News 数据集做 NER 标注,仅约 20 条样本即可用 AutoNLP 训练模型。
Hugging Face 收购机器学习初创公司 Gradio,Gradio 联合创始人发文确认这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布,用于让机器学习工程师快速搭建并分享模型 demo,目前已有超过 30 万个 demo 基于该库构建。作者表示加入 Hugging Face 后将继续发展 Gradio,让任何有浏览器的人都能使用机器学习模型。
推荐理由:Gradio 创始人以当事方视角讲述被 Hugging Face 收购的经过,并回顾该开源库从 2019 年起步到 30 万 demo 的历程。
Hugging Face 将 Google DeepMind 的 Perceiver IO 加入 Transformers 库,这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由:Hugging Face 把 Perceiver IO 接入 Transformers,读者可了解这套统一处理文本、图像、音频、视频的架构如何实现。
Hugging Face 发布教程,介绍如何从零训练 GPT-2 large(1.5B 参数)代码生成模型 CodeParrot,可自动补全 Python 代码。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在 Hugging Face Spaces 上在线与深度强化学习智能体对战扔雪球。该环境基于 Unity ML-Agents 构建并已开源托管于 Hugging Face Hub,后续还将推出 Snowball Fight 2vs2 版本,使用 MA-POCA 算法训练智能体团队协作。
Hugging Face 与 Graphcore 合作推出开源库 Optimum,用于降低 Transformer 模型在多种硬件上的预测延迟,首个 IPU 优化模型为 BERT。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 及 Streamlit 构建,可在线构建、测量和比较数据集。该工具能自动计算缺失值、词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标,帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face 发布教程,演示如何用 🤗 Transformers 将预训练检查点 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别,示例数据集为 Common Voice 土耳其语,仅约 4 小时验证训练数据。