用 Transformers 进行图分类:基于 Graphormer 的实战教程
Hugging Face 发布教程,演示如何用 Transformers(>= 4.27.2)库完成图分类任务,目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 发布教程,演示如何用 Transformers(>= 4.27.2)库完成图分类任务,目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验联邦学习如何在数据不出本地的前提下训练模型。该空间通过控制样本分布,展示联邦学习训练的模型在验证数据上几乎总是优于单一数据源训练的模型。Substra 已在乳腺癌研究等复杂安全环境中落地,并支持过 MELLODDY 项目中 10 家生物制药公司的数据协作。
Snorkel AI 与 Hugging Face 达成合作,将 Hugging Face 的 Inference Endpoints 集成进 Snorkel Flow 平台,让企业用户可直接调用其超过 150,000 个开源模型来适配自身用例。该服务支持一键创建模型 API,并具备“暂停与恢复”能力,可在客户需要时激活、不需要时休眠,从而控制成本。
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程,涵盖监督微调、奖励模型和 PPO 强化学习三个阶段,全部代码集成在 TRL 库中。
推荐理由:Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码,读者可据此复现并迁移到自己的任务。
Hugging Face 发布《伦理与社会通讯 #3》,阐述其"开放且向善的机器学习"使命,并推出 6 个伦理标签分类:严谨、知情同意、社会意识、可持续、包容与探究。平台同时上线举报功能,允许社区标记违反内容准则的模型、数据集、Space 或讨论,并推广 Open RAIL 许可证用于 BLOOM、BigCode 等 LLM。
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中,8 卡 Gaudi2 生成 100 token 耗时 3.103 秒,比 A100 80GB 的 4.402 秒快 1.42 倍;BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术,借助 Optimum Intel 与 OpenVINO。
Hugging Face 发布教程,演示如何用 Flower 框架在多个客户端上联邦微调 distilBERT 模型,完成 IMDB 影评情感分类任务。教程使用 datasets、evaluate、flwr、torch、transformers 等库,并提供了在 Google Colab 中通过 Flower 模拟功能复现联邦训练的 notebook。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 宣布改进 Hub 上 Jupyter Notebook 的托管支持,新增渲染功能,使原本为 JSON 格式的 ipynb 文件能以人类可读形式展示。Hub 目前已托管超 7,000 个 notebook,并支持一键在 Google Colab 中直接打开。
Hugging Face 在 🤗 Transformers 中集成了 AAAI21 最佳论文提出的 Informer 模型,用于多变量概率时间序列预测。Informer 通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T),并用 Distilling 操作将堆叠层内存占用从 O(NT²) 降至 O(N·T log T)。
Hugging Face 正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例,通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型,在 24GB NVIDIA 4090 上完成微调,完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍,后续将探索多 GPU 扩展与提速。
推荐理由:trl 与 peft 集成后,读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源公开。
推荐理由:Kakao Brain 首次公开 ALIGN 模型并附带训练数据,读者可据此了解可复现的视觉语言建模路径。
2023 年土耳其地震后,志愿者在 Hugging Face 上协作开发了救援地图应用 afetharita,用 easyocr 做 OCR、微调 bert-base-turkish-cased 做地址抽取,并通过 Inference API 部署。团队还用 NLI 模型与微调分类模型识别幸存者的住所、食物、物流等需求,并搭建 Space 对 F1 与召回率进行基准评测。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观,同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Witty Works 借助 Hugging Face Expert Acceleration Program,将写作助手的非包容性词汇检测从基础 spaCy 方案升级为 Sentence Transformers 架构,结合 SetFit 少样本微调,每个词仅需 15-20 条标注句子即可完成分类。
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容,从而暴露模型漏洞,与对抗攻击不同,其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见,微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行,针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式,未来需建立多方协作的数据集与最佳实践。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
消费者奖励公司 Fetch 在 AWS 上借助 Hugging Face 专家加速计划重建自研 AI 平台,将约 15 个 AI 工具整合,开发时间缩短 30%,上传处理延迟降低 50%。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将 AWS 作为首选云服务商,开发者可通过 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。Hugging Face 上已有超 10 万个免费模型,日均下载量超 100 万次。
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers,本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由:文章给出 BLIP-2 在 Transformers 中的完整调用示例,读者可据此复现图像描述与视觉问答流程。
Hugging Face 推出托管服务 Inference Endpoints,可将 Hub 上的模型部署到 AWS、Azure 等云端的多种实例(含 GPU)。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:官方介绍 PEFT 库支持的微调方法与显存占用,读者可据此判断消费级硬件微调大模型的可行路径。
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。
Hugging Face 发布开源工具 AI vs. AI,用于在多智能体环境中对强化学习模型进行排名。该工具托管于 Spaces,通过匹配算法让模型持续对战,并基于 ELO 评分系统(初始 1200 分)生成排行榜,用户将训练好的模型推送到 Hub 即可参与评估。
Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事,包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限,建议仅用于头脑风暴,最终内容仍应手写,并提到 Character.AI 等对话智能体可作替代方案。
Hugging Face 联合 Intel 测试了 Sapphire Rapids 服务器上 PyTorch Transformers 的推理性能,在 distilbert-base-uncased、bert-base-uncased 和 roberta-base 三个模型上对比 Ice Lake 平台,使用最新版 Optimum Intel 库加速。
Hugging Face 发布博客深入解析视觉-语言模型,聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略,并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来,结合视觉与语言模态的联合模型(如 OpenAI 的 CLIP)在图像描述、文本引导图像生成与视觉问答等任务上表现突出。
Hugging Face 公布其计算机视觉生态现状:Hub 上已支持 8 项核心视觉任务、3000 多个模型和 100 多个数据集,涵盖图像分类、分割、目标检测、深度估计等,并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。Pipelines 已支持 7 项视觉任务,Trainer 可直接微调图像分类、分割、视频分类、目标检测和深度估计。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可用于 Dreambooth 和完整微调,训练显存最低约 11 GB,新增权重文件约 3 MB,比原 UNet 小约一千倍。
推荐理由:Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程,并说明显存和权重体积的实际变化。
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产,并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face 与微软 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练后端,让热门 Hugging Face 模型训练速度提升 35% 以上。
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据上训练一次即可在三个任务上取得 SOTA,精度更高但延迟更大。
Hugging Face 与百度 PaddlePaddle 达成开源合作,PaddlePaddle 模型库将逐步接入 Hugging Face Hub,首批已上线超 75 个模型,涵盖 UIE、ERNIE 3.0、Ernie-Layout 等。
Hugging Face 发布教程,演示如何用 Transformers 和 Datasets 库构建图像相似度检索系统,通过 ViT 模型(nateraw/vit-base-beans)提取图像嵌入向量,再用余弦相似度找出与查询图像最接近的候选图。
Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助农场游戏设计,作者向 ChatGPT 询问让农场游戏有趣的核心要素,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式故事等建议,并因 5 天工期只先实现前两项。文章同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常言之凿凿却出错,宜作头脑风暴工具而非知识库。
Hugging Face 发布图机器学习入门博客,梳理图的基本概念、表示方法与学习范式,涵盖从预神经网络方法到图神经网络(GNN),并延伸至用于图的 Transformer。文章还介绍了图级别的生成、演化与预测任务,节点级别的属性预测(如 AlphaFold 预测原子 3D 坐标),以及边级别的缺失边预测在推荐系统中的应用。
Hugging Face 发布系列教程,演示如何在 5 天内用 AI 工具做出完整农场游戏,Part 1 聚焦美术风格。
Hugging Face 展示了如何在 AWS 的 Intel Sapphire Rapids(第四代 Xeon)裸金属实例集群上分布式训练 PyTorch Transformers,借助 Intel oneAPI CCL 和 IPEX 库,无需改动一行代码即可启用 AMX 指令加速矩阵乘法。