Hugging Face 支持的 OpenRAIL:面向开放且负责任 AI 的许可框架
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 许可框架,允许免版税访问、下游使用与再分发 AI 模型及其衍生品,同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 的做法,主张开源许可不适配 ML 模型的技术特性,需以基于证据的方式划定开放使用与社会风险之间的边界。
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 许可框架,允许免版税访问、下游使用与再分发 AI 模型及其衍生品,同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 的做法,主张开源许可不适配 ML 模型的技术特性,需以基于证据的方式划定开放使用与社会风险之间的边界。
Hugging Face 博客介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构,应用可接受 4 位 PDB 代码或上传 PDB 文件,并从 RCSB 蛋白数据库获取结构。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并解释其 Latent Diffusion 的工作原理。
推荐理由:原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线写法,可迁移到其他扩散模型。
Hugging Face 发布教程,演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base,并使用 Transformers、Optimum Habana 和 Datasets 库完成 masked-language modeling 任务。
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face 与 Graphcore 联合发布 Optimum Graphcore 库,支持在 IPU 上微调 ViT 等 Transformer 模型。
Hugging Face 将 LLM.int8() 8-bit 量化集成进 transformers 与 accelerate,可在不损失性能的前提下把大模型显存占用降到约四分之一。
推荐理由:Hugging Face 官方详解 LLM.int8() 量化原理与 transformers 集成细节,并给出实测数据与代码示例。
Hugging Face 发布新库 Skops,支持将 scikit-learn 模型托管到 Hugging Face Hub,并可为模型创建 model card 进行文档化与协作。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile()、predict() 等方法。
Hugging Face 发布教程,讲解如何用 Docker 和 Kubernetes 将上一篇文章中的 Vision Transformer(ViT)本地部署扩展为可服务多用户的部署。
Hugging Face 发布教程,介绍如何从零构建或微调 Sentence Transformers 模型,涵盖数据准备、损失函数选择、训练与上传 Hugging Face Hub 的完整流程。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization (PPO),通过裁剪当前与旧策略的概率比至 [1−ϵ, 1+ϵ] 区间来限制每轮策略更新幅度,避免更新过大导致训练不稳定。课程随后用 PyTorch 从零实现 PPO,并在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具,支持安全合规地协作与部署。PH 以 Hugging Face Hub 为核心,后者已托管超 60K 模型、6K 数据集和 6K 演示应用,均以 Git 仓库形式进行版本控制。该产品旨在解决约 90% 模型无法进入生产、工具陌生、工作流非标准化及团队重复开发等问题。
Hugging Face 博客介绍 Nyströmformer,一种用 Nyström 方法近似标准自注意力的高效 Transformer,将时间和内存复杂度从 O(n²) 降至 O(n)。
Hugging Face 于 2022 年 6 月下旬向白宫 OSTP 和 NSF 提交了对 NAIRR 中期报告的回应,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准(如 Model Cards)、为跨学科非技术专家提供低代码或无代码工具(如 AutoTrain),并投入法律专业能力制定 Responsible AI Licenses。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增按模态加载与处理数据的端到端示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 官方博客介绍,在 transformers 中用 TensorFlow 做文本生成现在可以通过 jit_compile=True 启用 XLA 编译,速度最高提升 100 倍,部分场景比 PyTorch 快 9 倍。
推荐理由:Hugging Face 官方给出 TensorFlow 文本生成接入 XLA 的一行改法与 padding 技巧,可迁移到实际推理加速。
Hugging Face 与外部贡献者为 Transformers 加入了 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt 等 TensorFlow 视觉模型。
Hugging Face 深度强化学习课程发布 Unit 7,讲解 Advantage Actor Critic(A2C)这一结合基于策略与基于价值方法的混合架构,通过 Actor 控制智能体行为、Critic 评估动作优劣来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户在与模型交互中刻意"骗过"模型,再把对抗样本用于训练,多轮重复以提升鲁棒性。教程以 MNIST 手写数字识别为例,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并用 🤗 Spaces 搭建交互与标记(flagging)演示。
Hugging Face 详解 176B 参数多语言模型 BLOOM 的训练技术,该项目由 Thomas Wolf 发起,使用 384 张 80GB A100 GPU、Megatron-DeepSpeed 框架和 350B token 的 59 语言数据集,耗时约 3.5 个月完成。
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,最终用 Gradio Blocks API 搭建多步交互演示并托管在 Hugging Face Spaces 上。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,是首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,读者可据此了解开放大模型在透明度上的具体做法。
Hugging Face 发布 Twitter 情感分析入门指南,面向开发者和非开发者分别给出实现路径。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类,并用 Matplotlib 和 WordCloud 可视化结果;无代码用户则可借助 Zapier 采集推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face 深度强化学习课程第 5 单元讲解基于策略的强化学习方法,用 PyTorch 从零实现首个 Policy-Gradient 算法 Reinforce,并在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face 发布入门指南,以 Sentence Transformers(ST)为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量,并用 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等应用。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目依赖它。
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法,无需改动代码即可启用 ZeRO Stage-2。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据,并可在数据集页查看排行榜;官方已用该工具评测数百个模型并提交了 PR。工具支持三种场景:为任务找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型。
推荐理由:Hugging Face 把模型评测做成 Hub 上的一键流程,读者可据此了解免代码评测与结果回写模型卡的做法。
Hugging Face 发布 Embeddings 入门教程,演示用开源库 Sentence Transformers 的 all-MiniLM-L6-v2 模型和 Inference API 构建 FAQ 语义搜索。
Hugging Face 博客介绍了将 Transformers 模型转为 ONNX 的三种方式:底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案,覆盖训练、微调与推理。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由:以 PyTorch 逐步实现 DDPM 并附完整代码,适合想从原理到代码理解扩散模型的读者。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning,用神经网络替代 Q-table 来近似 Q 值,解决 Space Invaders 等 Atari 环境状态空间过大的问题。输入为 4 帧堆叠、缩放至 84x84 的灰度画面,经三层卷积和全连接层输出各动作 Q 值,并借助 RL-Zoo 与 Stable-Baselines 训练智能体。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批适配 IPU 的 Transformer 模型,可访问模型总数达到 10 个,覆盖 NLP、语音和计算机视觉,均附带 IPU 配置文件及预训练、微调权重。新增模型包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2,此前已有 BERT。
Hugging Face 在 Hub 上线 Pull Requests 和 Discussions 两项协作功能,覆盖 models、datasets 和 Spaces 三类仓库,任何社区成员都可创建和参与。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning,并从头实现首个 RL 智能体。Q-Learning 是一种 off-policy、基于价值的方法,用 TD 方式训练动作价值函数,其内部维护一张 Q-table 记录每个状态-动作对的价值。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策,明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用,并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态,属进行中的工作,更新将通过 GitHub 追踪。
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建 NLP 流水线,自动分类并回复患者短信,上线数周后近 20% 的入站消息由系统自动处理。此前其基于规则的系统只能覆盖约 80% 的消息,Hugging Face 团队在标注与模型选型上提供了指导。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,对比蒙特卡洛与时序差分学习,并区分状态价值函数与动作价值函数。该部分为后续学习 Q-Learning 及深度 Q-Learning(unit 3)打基础,第二部分将实现首个 Q-Learning 智能体,在 Frozen-Lake-v1 和自动驾驶出租车环境中训练。
Hugging Face 宣布启动 Fellowship 计划,为开源机器学习生态的关键贡献者提供算力资源、周边物料和官方认可等支持。首批 Fellow 包括创建西语 NLP 社区的 María Grandury、向 Hub 贡献超 300 个模型的 Manuel Romero 等。