Databricks 向 Hugging Face 提交代码:LLM 训练与微调提速最高 40%
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
Hugging Face 上线中文博客 hf.co/blog/zh,由志愿者翻译 transformers、diffusion 和强化学习等博客与课程内容。官方同时列举 HuggingGPT、ChatGLM、RWKV、ChatYuan、ModelScope 文生视频模型及 BAAI 等中国社区成果,并已与 PaddlePaddle、DataWhale 等开展合作。
Hugging Face 发布教程,介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space,将 Unity 项目构建目标切换为 WebGL,压缩格式设为 Disabled,再通过 Git-LFS 推送构建文件即可。教程还提供可选的 Hugging Face Unity WebGL 模板以美化游戏外观。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速芯片进行优化,通过 optimum-neuron 只需一行代码即可编译模型。
Hugging Face 发布教程,演示如何用 Transformers(>= 4.27.2)库完成图分类任务,目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验联邦学习如何在数据不出本地的前提下训练模型。该空间通过控制样本分布,展示联邦学习训练的模型在验证数据上几乎总是优于单一数据源训练的模型。Substra 已在乳腺癌研究等复杂安全环境中落地,并支持过 MELLODDY 项目中 10 家生物制药公司的数据协作。
Snorkel AI 与 Hugging Face 达成合作,将 Hugging Face 的 Inference Endpoints 集成进 Snorkel Flow 平台,让企业用户可直接调用其超过 150,000 个开源模型来适配自身用例。该服务支持一键创建模型 API,并具备“暂停与恢复”能力,可在客户需要时激活、不需要时休眠,从而控制成本。
Hugging Face 发布《伦理与社会通讯 #3》,阐述其"开放且向善的机器学习"使命,并推出 6 个伦理标签分类:严谨、知情同意、社会意识、可持续、包容与探究。平台同时上线举报功能,允许社区标记违反内容准则的模型、数据集、Space 或讨论,并推广 Open RAIL 许可证用于 BLOOM、BigCode 等 LLM。
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中,8 卡 Gaudi2 生成 100 token 耗时 3.103 秒,比 A100 80GB 的 4.402 秒快 1.42 倍;BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face 发布教程,演示如何用 Flower 框架在多个客户端上联邦微调 distilBERT 模型,完成 IMDB 影评情感分类任务。教程使用 datasets、evaluate、flwr、torch、transformers 等库,并提供了在 Google Colab 中通过 Flower 模拟功能复现联邦训练的 notebook。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 宣布改进 Hub 上 Jupyter Notebook 的托管支持,新增渲染功能,使原本为 JSON 格式的 ipynb 文件能以人类可读形式展示。Hub 目前已托管超 7,000 个 notebook,并支持一键在 Google Colab 中直接打开。
Hugging Face 在 🤗 Transformers 中集成了 AAAI21 最佳论文提出的 Informer 模型,用于多变量概率时间序列预测。Informer 通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T),并用 Distilling 操作将堆叠层内存占用从 O(NT²) 降至 O(N·T log T)。
Hugging Face 正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例,通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型,在 24GB NVIDIA 4090 上完成微调,完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍,后续将探索多 GPU 扩展与提速。
推荐理由:trl 与 peft 集成后,读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源公开。
推荐理由:Kakao Brain 首次公开 ALIGN 模型并附带训练数据,读者可据此了解可复现的视觉语言建模路径。
2023 年土耳其地震后,志愿者在 Hugging Face 上协作开发了救援地图应用 afetharita,用 easyocr 做 OCR、微调 bert-base-turkish-cased 做地址抽取,并通过 Inference API 部署。团队还用 NLI 模型与微调分类模型识别幸存者的住所、食物、物流等需求,并搭建 Space 对 F1 与召回率进行基准评测。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观,同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将 AWS 作为首选云服务商,开发者可通过 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。Hugging Face 上已有超 10 万个免费模型,日均下载量超 100 万次。
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers,本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由:文章给出 BLIP-2 在 Transformers 中的完整调用示例,读者可据此复现图像描述与视觉问答流程。
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。
Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事,包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限,建议仅用于头脑风暴,最终内容仍应手写,并提到 Character.AI 等对话智能体可作替代方案。
Hugging Face 发布博客深入解析视觉-语言模型,聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略,并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来,结合视觉与语言模态的联合模型(如 OpenAI 的 CLIP)在图像描述、文本引导图像生成与视觉问答等任务上表现突出。
Hugging Face 公布其计算机视觉生态现状:Hub 上已支持 8 项核心视觉任务、3000 多个模型和 100 多个数据集,涵盖图像分类、分割、目标检测、深度估计等,并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。Pipelines 已支持 7 项视觉任务,Trainer 可直接微调图像分类、分割、视频分类、目标检测和深度估计。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可用于 Dreambooth 和完整微调,训练显存最低约 11 GB,新增权重文件约 3 MB,比原 UNet 小约一千倍。
推荐理由:Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程,并说明显存和权重体积的实际变化。
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产,并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face 与微软 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练后端,让热门 Hugging Face 模型训练速度提升 35% 以上。
Hugging Face 发布博客梳理让对话智能体变得有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)和基于人类反馈的强化学习(RLHF)。
Hugging Face 博客"AI for Game Development"系列第 3 篇指出,text-to-3D 目前还无法实际用于游戏开发,因为生成结果多为 NeRF 视图合成而非可直接使用的 mesh,需大量人工后处理才能成为游戏资产。
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据上训练一次即可在三个任务上取得 SOTA,精度更高但延迟更大。
Hugging Face 与百度 PaddlePaddle 达成开源合作,PaddlePaddle 模型库将逐步接入 Hugging Face Hub,首批已上线超 75 个模型,涵盖 UIE、ERNIE 3.0、Ernie-Layout 等。
Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助农场游戏设计,作者向 ChatGPT 询问让农场游戏有趣的核心要素,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式故事等建议,并因 5 天工期只先实现前两项。文章同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常言之凿凿却出错,宜作头脑风暴工具而非知识库。
Hugging Face 发布系列教程,演示如何在 5 天内用 AI 工具做出完整农场游戏,Part 1 聚焦美术风格。
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book,前者提供图形界面,无需编程或 Markdown 即可创建模型卡。同时发布更新版模型卡模板(集成于 huggingface_hub 库)、带注释模板、用户研究及文档现状综述。
Hugging Face 发布音频数据集使用指南,介绍如何用 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。目前 Hub 上已有 77 个语音识别数据集和 28 个音频分类数据集,并支持 Dataset Preview 在线试听样本。
Hugging Face 伦理与社会团队发布通讯第 2 期,讨论机器学习中的偏见问题,指出偏见普遍且复杂,单一技术手段难以有效解决。文章梳理了偏见在 ML 开发各环节的体现,并介绍了 Hugging Face 团队开发的用于识别和应对偏见的数据集与模型工具。
Hugging Face 博客图解 RLHF 的完整流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,并用 KL 散度惩罚约束策略偏离初始模型,同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。
推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文,适合作为理解该流程的入门参考。
Hugging Face 发布《Deep Learning with Proteins》入门指南,面向想入门机器学习的生物学家和想入门生物学的机器学习者,并附上蛋白质语言模型微调(PyTorch、TensorFlow)与 ESMFold 蛋白质折叠(仅 PyTorch)的示例 notebook。
Hugging Face 博客介绍如何用 🤗 Transformers 库中的 Time Series Transformer 在自定义数据集上训练概率时间序列预测模型。该模型基于 Encoder-Decoder Transformer 架构,支持自回归采样和缺失值掩码处理,并以澳大利亚 366 个地区的 tourism_monthly 月度旅游数据集为例演示训练流程。