跳到正文

#Hugging Face

今日 3 条
2月15日周三
2月10日周五
2月8日周三
  1. Hugging Face Blog60

    SpeechT5 上线 Hugging Face Transformers,支持语音合成、识别与语音转换

    Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。

    推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。

2月7日周二
  1. Hugging Face Blog22

    用 AI 为游戏开发生成故事:Hugging Face 教程第 5 篇

    Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事,包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限,建议仅用于头脑风暴,最终内容仍应手写,并提到 Character.AI 等对话智能体可作替代方案。

2月6日周一
2月3日周五
  1. Hugging Face Blog30

    Hugging Face 博客:深入解析视觉-语言模型及其训练策略

    Hugging Face 发布博客深入解析视觉-语言模型,聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略,并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来,结合视觉与语言模态的联合模型(如 OpenAI 的 CLIP)在图像描述、文本引导图像生成与视觉问答等任务上表现突出。

1月30日周一
  1. Hugging Face Blog22

    Hugging Face 计算机视觉生态现状:8 大任务、3000+ 模型与 100+ 数据集

    Hugging Face 公布其计算机视觉生态现状:Hub 上已支持 8 项核心视觉任务、3000 多个模型和 100 多个数据集,涵盖图像分类、分割、目标检测、深度估计等,并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。Pipelines 已支持 7 项视觉任务,Trainer 可直接微调图像分类、分割、视频分类、目标检测和深度估计。

1月26日周四
1月24日周二
1月19日周四
  1. Hugging Face Blog42

    Hugging Face transformers 集成 Mask2Former 与 OneFormer,统一图像分割

    Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据上训练一次即可在三个任务上取得 SOTA,精度更高但延迟更大。

1月17日周二
1月16日周一
1月9日周一
  1. Hugging Face Blog22

    AI 游戏开发:用 ChatGPT 辅助游戏设计,5 天做出农场游戏(第二部分)

    Hugging Face 博客系列教程第二部分展示如何用 ChatGPT 辅助农场游戏设计,作者向 ChatGPT 询问让农场游戏有趣的核心要素,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式故事等建议,并因 5 天工期只先实现前两项。文章同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常言之凿凿却出错,宜作头脑风暴工具而非知识库。

1月3日周二
  1. Hugging Face Blog22

    Hugging Face 博客:图机器学习入门指南

    Hugging Face 发布图机器学习入门博客,梳理图的基本概念、表示方法与学习范式,涵盖从预神经网络方法到图神经网络(GNN),并延伸至用于图的 Transformer。文章还介绍了图级别的生成、演化与预测任务,节点级别的属性预测(如 AlphaFold 预测原子 3D 坐标),以及边级别的缺失边预测在推荐系统中的应用。

1月2日周一
12月21日周三
  1. Hugging Face Blog42

    用 CLIPSeg 实现零样本图像分割

    Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器,输入 352 x 352 像素图像,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持以文本或示例图像作为提示的"视觉提示"。若需更精细结果,可在 Segments.ai 上对 CLIPSeg 输出进行细化。

12月20日周二
12月15日周四
12月14日周三
12月9日周五
  1. Hugging Face Blog62

    图解基于人类反馈的强化学习(RLHF)

    Hugging Face 博客图解 RLHF 的完整流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,并用 KL 散度惩罚约束策略偏离初始模型,同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。

    推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文,适合作为理解该流程的入门参考。

12月2日周五
12月1日周四
  1. Hugging Face Blog70

    如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    借助 Apple 工程师提供的转换脚本和推理代码,Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行,Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。

    推荐理由:原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据,可据此复现或自行转换权重。

11月30日周三
  1. Hugging Face Blog30

    VQ-Diffusion:基于离散隐空间的扩散模型

    中国科学技术大学与微软提出 VQ-Diffusion,一种在量化隐空间上进行加噪与去噪的条件扩散模型,隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像,并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型,VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善,可通过 🧨 Diffusers 几行代码调用。

11月29日周二
  1. Hugging Face Blog8

    Hugging Face 启动 2023 年实习生招聘,开放 8 个 AI 方向岗位

    Hugging Face 宣布启动 2023 年实习生招聘,开放 8 个岗位,涵盖 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、生成式 ML 社会影响评估和 AI 艺术工具等方向。实习生将与 Hugging Face 导师及相应开源库维护者合作,申请者需通过官方招聘门户提交申请并创建 Hugging Face 账号。

11月25日周五
  1. Hugging Face Blog22

    Hugging Face 与 Jonathan Whitaker 推出扩散模型课程并举办直播活动

    Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型的理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。

11月23日周三
11月21日周一
11月17日周四
  1. Hugging Face Blog28

    用同态加密在加密数据上做情感分析:Concrete-ML 实战教程

    Hugging Face 发布教程,演示如何借助 Concrete-ML 库在全同态加密(FHE)环境下构建情感分析模型,数据科学家无需密码学背景即可上手。方案用 BERT 提取文本隐藏表示(hidden size 768),再交给 XGBoost 分类,并通过客户端/服务器协议部署到云端,最后在 Hugging Face Spaces 提供完整演示。

11月8日周二
11月7日周一
11月3日周四
  1. Hugging Face Blog62

    用 🤗 Transformers 微调 Whisper 实现多语言 ASR

    Hugging Face 发布教程,介绍如何用 🤗 Transformers 在任意多语言 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例,用约 8 小时训练数据微调 244M 参数的 Whisper small,最佳 WER 为 32.0%,相比预训练模型的 63.5% 提升 31.5 个百分点。

    推荐理由:以 8 小时印地语数据微调 Whisper small 的完整流程,WER 从 63.5% 降至 32.0%,可复用的多语言 ASR 微调方法。