Hugging Face 发布全球最大开放多语言模型 BLOOM
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,是首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,读者可据此了解开放大模型在透明度上的具体做法。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,是首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,读者可据此了解开放大模型在透明度上的具体做法。
Hugging Face 发布 Twitter 情感分析入门指南,面向开发者和非开发者分别给出实现路径。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类,并用 Matplotlib 和 WordCloud 可视化结果;无代码用户则可借助 Zapier 采集推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face 深度强化学习课程第 5 单元讲解基于策略的强化学习方法,用 PyTorch 从零实现首个 Policy-Gradient 算法 Reinforce,并在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face 发布入门指南,以 Sentence Transformers(ST)为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量,并用 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等应用。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目依赖它。
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法,无需改动代码即可启用 ZeRO Stage-2。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据,并可在数据集页查看排行榜;官方已用该工具评测数百个模型并提交了 PR。工具支持三种场景:为任务找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型。
推荐理由:Hugging Face 把模型评测做成 Hub 上的一键流程,读者可据此了解免代码评测与结果回写模型卡的做法。
Hugging Face 发布 Embeddings 入门教程,演示用开源库 Sentence Transformers 的 all-MiniLM-L6-v2 模型和 Inference API 构建 FAQ 语义搜索。
Hugging Face 博客介绍了将 Transformers 模型转为 ONNX 的三种方式:底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案,覆盖训练、微调与推理。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由:以 PyTorch 逐步实现 DDPM 并附完整代码,适合想从原理到代码理解扩散模型的读者。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning,用神经网络替代 Q-table 来近似 Q 值,解决 Space Invaders 等 Atari 环境状态空间过大的问题。输入为 4 帧堆叠、缩放至 84x84 的灰度画面,经三层卷积和全连接层输出各动作 Q 值,并借助 RL-Zoo 与 Stable-Baselines 训练智能体。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批适配 IPU 的 Transformer 模型,可访问模型总数达到 10 个,覆盖 NLP、语音和计算机视觉,均附带 IPU 配置文件及预训练、微调权重。新增模型包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2,此前已有 BERT。
Hugging Face 在 Hub 上线 Pull Requests 和 Discussions 两项协作功能,覆盖 models、datasets 和 Spaces 三类仓库,任何社区成员都可创建和参与。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning,并从头实现首个 RL 智能体。Q-Learning 是一种 off-policy、基于价值的方法,用 TD 方式训练动作价值函数,其内部维护一张 Q-table 记录每个状态-动作对的价值。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策,明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用,并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态,属进行中的工作,更新将通过 GitHub 追踪。
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建 NLP 流水线,自动分类并回复患者短信,上线数周后近 20% 的入站消息由系统自动处理。此前其基于规则的系统只能覆盖约 80% 的消息,Hugging Face 团队在标注与模型选型上提供了指导。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,对比蒙特卡洛与时序差分学习,并区分状态价值函数与动作价值函数。该部分为后续学习 Q-Learning 及深度 Q-Learning(unit 3)打基础,第二部分将实现首个 Q-Learning 智能体,在 Frozen-Lake-v1 和自动驾驶出租车环境中训练。
Hugging Face 宣布启动 Fellowship 计划,为开源机器学习生态的关键贡献者提供算力资源、周边物料和官方认可等支持。首批 Fellow 包括创建西语 NLP 社区的 María Grandury、向 Hub 贡献超 300 个模型的 Manuel Romero 等。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组,关注数据策展、多语言性与模型训练数据的伦理问题。
Gradio 发布 3.0 版本,对库进行了彻底重设计。新版前端改用 Svelte 等现代技术,页面加载更快、体积更小,并新增 Gallery 组件和 TabbedInterface 类,同时推出低层语言 Gradio Blocks,让开发者用 Python 构建自定义布局和多步数据流的 Web 应用。官方还举办 Gradio Blocks Party 竞赛,持续到 5 月底。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解自定义 ML 演示界面的新写法。
Hugging Face 博客发布“机器学习总监洞察”系列第二期 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,项目于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 开源库 Optimum 发布 1.2 版本,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx 直接调用。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模与投资方,并给出平台模型、数据集和客户体量,可据此了解当时开源 ML 生态的商业化进展。
fastai 现已集成 Hugging Face Hub,开发者用一行 Python 即可将 fastai Learner 上传至 Hub 分享。需安装 fastai>=2.4、fastcore>=1.3.27 和 toml,通过 push_to_hub_fastai 上传、from_pretrained_fastai 加载,Hub 提供免费托管、基于 git 的版本控制和模型卡。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖强化学习框架、马尔可夫性质、动作空间、奖励折扣与探索/利用权衡等概念。课程使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库,并让学员训练首个登月着陆器智能体并上传至 Hugging Face Hub。
Hugging Face 展示了如何用 Accelerate 库无需改代码即可调用 PyTorch 的 FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类。
Hugging Face 与 Habana Labs 合作,将 Gaudi 加速器的性价比优势带入 Transformers,其训练机器学习模型的性价比相比最新 GPU 版 Amazon EC2 实例最高提升 40%。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及已翻译成 8 种语言的教师工具包。此前 3 月的 ML demo.cratization 巡讲已为 16 个国家超 1000 名学生授课。
Hugging Face 发布博客,演示如何用其生态工具搭建客户服务场景的文本分类系统,将客户消息按满意度分为 very unsatisfied 到 very satisfied 五类,以优先回复最不满意的客户。文章以 Amazon reviews multi 数据集为例,说明如何按任务类型筛选数据集并评估质量与规模,并建议用内部数据训练模型。
Hugging Face Hub 新增 emissions_threshold 参数,可按训练碳排放量筛选模型,例如上限 100 克可筛出 191 个模型,下限 500 克则筛出 10 个。transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了他在 transformers 库上的工作:通过一行代码将 PyTorch 模型导出为 ONNX 格式,帮助 ML 工程师获得更低延迟和更高吞吐。他还与 Leandro von Werra、Thom Wolf 合著了《NLP with Transformers》一书,并谈到大规模模型评估等话题。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略",即模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码因此在不同模型文件里被复制了 50 多次。官方给出的理由包括:该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后很少被改动。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布九个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人,现于 Hugging Face 制定伦理 AI 研究协议。
Hugging Face 推出为期 9 个月的 AI Research Residency Program,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。项目为全职、可远程,申请截止 2022 年 4 月 3 日,欢迎各类背景申请者。
Hugging Face 发布教程,演示如何用自定义数据集微调 SegFormer 语义分割模型,并以披萨配送机器人识别 sidewalk 为例。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。