Hugging Face 推出 Private Hub:机器学习协作与部署新方式
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具,支持安全合规地协作与部署。PH 以 Hugging Face Hub 为核心,后者已托管超 60K 模型、6K 数据集和 6K 演示应用,均以 Git 仓库形式进行版本控制。该产品旨在解决约 90% 模型无法进入生产、工具陌生、工作流非标准化及团队重复开发等问题。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具,支持安全合规地协作与部署。PH 以 Hugging Face Hub 为核心,后者已托管超 60K 模型、6K 数据集和 6K 演示应用,均以 Git 仓库形式进行版本控制。该产品旨在解决约 90% 模型无法进入生产、工具陌生、工作流非标准化及团队重复开发等问题。
Hugging Face 于 2022 年 6 月下旬向白宫 OSTP 和 NSF 提交了对 NAIRR 中期报告的回应,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准(如 Model Cards)、为跨学科非技术专家提供低代码或无代码工具(如 AutoTrain),并投入法律专业能力制定 Responsible AI Licenses。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增按模态加载与处理数据的端到端示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 官方博客介绍,在 transformers 中用 TensorFlow 做文本生成现在可以通过 jit_compile=True 启用 XLA 编译,速度最高提升 100 倍,部分场景比 PyTorch 快 9 倍。
推荐理由:Hugging Face 官方给出 TensorFlow 文本生成接入 XLA 的一行改法与 padding 技巧,可迁移到实际推理加速。
Hugging Face 深度强化学习课程发布 Unit 7,讲解 Advantage Actor Critic(A2C)这一结合基于策略与基于价值方法的混合架构,通过 Actor 控制智能体行为、Critic 评估动作优劣来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户在与模型交互中刻意"骗过"模型,再把对抗样本用于训练,多轮重复以提升鲁棒性。教程以 MNIST 手写数字识别为例,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并用 🤗 Spaces 搭建交互与标记(flagging)演示。
Hugging Face 详解 176B 参数多语言模型 BLOOM 的训练技术,该项目由 Thomas Wolf 发起,使用 384 张 80GB A100 GPU、Megatron-DeepSpeed 框架和 350B token 的 59 语言数据集,耗时约 3.5 个月完成。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,是首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,读者可据此了解开放大模型在透明度上的具体做法。
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法,无需改动代码即可启用 ZeRO Stage-2。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据,并可在数据集页查看排行榜;官方已用该工具评测数百个模型并提交了 PR。工具支持三种场景:为任务找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型。
推荐理由:Hugging Face 把模型评测做成 Hub 上的一键流程,读者可据此了解免代码评测与结果回写模型卡的做法。
Hugging Face 博客介绍了将 Transformers 模型转为 ONNX 的三种方式:底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案,覆盖训练、微调与推理。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由:以 PyTorch 逐步实现 DDPM 并附完整代码,适合想从原理到代码理解扩散模型的读者。
Hugging Face 在 Hub 上线 Pull Requests 和 Discussions 两项协作功能,覆盖 models、datasets 和 Spaces 三类仓库,任何社区成员都可创建和参与。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策,明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用,并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态,属进行中的工作,更新将通过 GitHub 追踪。
Hugging Face 宣布启动 Fellowship 计划,为开源机器学习生态的关键贡献者提供算力资源、周边物料和官方认可等支持。首批 Fellow 包括创建西语 NLP 社区的 María Grandury、向 Hub 贡献超 300 个模型的 Manuel Romero 等。
Gradio 发布 3.0 版本,对库进行了彻底重设计。新版前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类,同时推出低层语言 Gradio Blocks,让开发者用 Python 构建自定义布局和多步数据流的 Web 应用。官方还举办 Gradio Blocks Party 竞赛,持续到 5 月底。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解自定义 ML 演示界面的新写法。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,项目于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 开源库 Optimum 发布 1.2 版本,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx 直接调用。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模与投资方,并给出平台模型、数据集和客户体量,可据此了解当时开源 ML 生态的商业化进展。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖强化学习框架、马尔可夫性质、动作空间、奖励折扣与探索/利用权衡等概念。课程使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库,并让学员训练首个登月着陆器智能体并上传至 Hugging Face Hub。
Hugging Face 展示了如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及已翻译成 8 种语言的教师工具包。此前 3 月的 ML demo.cratization 巡讲已为 16 个国家超 1000 名学生授课。
Hugging Face Hub 新增 emissions_threshold 参数,可按训练碳排放量筛选模型,例如上限 100 克可筛出 191 个模型,下限 500 克则筛出 10 个。transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略",即模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码因此在不同模型文件里被复制了 50 多次。官方给出的理由包括:该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后很少被改动。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人,现于 Hugging Face 制定伦理 AI 研究协议。
Hugging Face 推出为期 9 个月的 AI Research Residency Program,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。项目为全职、可远程,申请截止 2022 年 4 月 3 日,欢迎各类背景申请者。
Hugging Face 的 🤗 datasets 库新增图像特征类型,可结合 faiss 索引实现图像相似度搜索。文章以英国图书馆数字化书籍插图数据集为例,演示用 ImageFolder 加载器直接读取图像数据集,并配合 sentence_transformers 与 faiss 搭建图像搜索应用。
Hugging Face 为 🤗 Transformers 的 model.generate() 新增约束束搜索(constrained beam search)功能,通过 force_words_ids 参数强制生成结果包含指定词。
Hugging Face Hub 上已有超过 215 个情感分析模型,配合 transformers 的 pipeline 类,5 行 Python 代码即可完成情感分析。Hub 共收录超 27000 个模型,覆盖约 28 种语言,并提供 Colab notebook 供用户用自己的数据测试。
Hugging Face 博客介绍如何利用 Wav2Vec2 的 CTC 结构,在 🤗 Transformers 中对任意长音频做语音识别。
推荐理由:原文给出带 stride 的分块推理方法,读者可据此在长音频和实时场景中复用 Wav2Vec2。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库,可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于语音识别解码。
Hugging Face 发布教程,介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 EleutherAI 的 GPT-J 6B 模型做实时推理。
Hugging Face 收购机器学习初创公司 Gradio,Gradio 联合创始人发文确认这一消息。Gradio 于 2019 年由斯坦福博士生与三位室友发布,用于让机器学习工程师快速搭建并分享模型 demo,目前已有超过 30 万个 demo 基于该库构建。作者表示加入 Hugging Face 后将继续发展 Gradio,让任何有浏览器的人都能使用机器学习模型。
推荐理由:Gradio 创始人以当事方视角讲述被 Hugging Face 收购的经过,并回顾该开源库从 2019 年起步到 30 万 demo 的历程。
Hugging Face 与 Graphcore 合作推出开源库 Optimum,用于降低 Transformer 模型在多种硬件上的预测延迟,首个 IPU 优化模型为 BERT。
Hugging Face 发布教程,演示如何用 🤗 Transformers 将预训练检查点 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别,示例数据集为 Common Voice 土耳其语,仅约 4 小时验证训练数据。
Hugging Face 课程第二部分将于 11 月 15 日发布,聚焦 token 分类、语言建模、翻译、摘要和问答等 NLP 任务,并深入讲解 Datasets 与 Tokenizers。配套社区活动包含两天讲座和团队项目,AWS 通过 Amazon SageMaker 提供免费算力,完成项目者可获结业证书。