用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,16 GB RAM 实例即可运行,支持文本提示生成音乐。
Hugging Face 发布教程,介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库,添加 handler.py 和 requirements.txt,即可创建端点,16 GB RAM 实例即可运行,支持文本提示生成音乐。
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动检测语言,并借助 librarian-bots 提交 PR 补充元数据。目前 Hub 约 5 万个公开数据集中仅约 13% 标注了语言,约 87% 未标注。
Meta 发布开源大语言模型系列 Llama 2,包含 7B、13B、70B 的预训练与微调版本,采用宽松社区许可并允许商用。相比 Llama 1,预训练 token 增加 40%,上下文长度扩展到 4k tokens,70B 模型使用 grouped-query attention。
推荐理由:Meta 发布可商用的 Llama 2 系列,Hugging Face 同步给出推理、部署与微调入口,便于判断开源模型的可落地程度。
Hugging Face 梳理其 Hub 上的开源文本生成与 LLM 生态,涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face 发布教程,介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B,每个 Adapter 层仅约 2.5M 权重,微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调,更省内存且性能更好。
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖全部 157 种语言的词向量和最新语言识别模型,用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget,并提供词向量最近邻查询和语言检测的示例代码。
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程,涵盖监督微调、奖励模型和 PPO 强化学习三个阶段,全部代码集成在 TRL 库中。
推荐理由:Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码,读者可据此复现并迁移到自己的任务。
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容,从而暴露模型漏洞,与对抗攻击不同,其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见,微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行,针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式,未来需建立多方协作的数据集与最佳实践。
Hugging Face 发布博客梳理让对话智能体变得有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)和基于人类反馈的强化学习(RLHF)。
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据上训练一次即可在三个任务上取得 SOTA,精度更高但延迟更大。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型的理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint,在显存与内存不足的消费级硬件上加载并运行超大语言模型。
推荐理由:原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的完整流程,可迁移到本地部署实践。
Hugging Face 博客介绍如何利用 Wav2Vec2 的 CTC 结构,在 🤗 Transformers 中对任意长音频做语音识别。
推荐理由:原文给出带 stride 的分块推理方法,读者可据此在长音频和实时场景中复用 Wav2Vec2。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库,可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于语音识别解码。
Hugging Face 发布教程,演示如何用 🤗 Transformers 将预训练检查点 Wav2Vec2-XLS-R-300M 微调用于低资源语音识别,示例数据集为 Common Voice 土耳其语,仅约 4 小时验证训练数据。
Hugging Face 发布博客,记录作者 Stas Bekman 在 Sam Shleifer 建议下,将 fairseq 的 WMT19 新闻翻译系统移植到 transformers 的全过程。