Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3535
Hugging Face BlogAI 评分2222 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等模型推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet 的计算性能，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 4.1.1 版本快一倍。
OpenAI NewsAI 评分4242 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 已将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP 和 DALL·E 等大模型提供可扩展基础设施，同时支持 Scaling Laws for Neural Language Models 这类快速小规模迭代研究。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 和 DeepSpeed 的显存与速度差异，可据此选择训练方案。
Hugging Face BlogAI 评分2727 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，跳过昂贵的预训练阶段。基于 Rothe 等人 2020 年的论文，该方法在多个序列到序列任务上以极低训练成本达到与 T5、Pegasus 等大型预训练模型相当的效果，并附有 🤗Transformers 的完整代码示例。
Hugging Face BlogAI 评分2626 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 发布博客，记录作者 Stas Bekman 在 Sam Shleifer 建议下，将 fairseq 的 WMT19 新闻翻译系统移植到 transformers 的全过程。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，用户只需添加几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等调参算法。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，重点拆解编码器与解码器两部分及其推理用法。文章指出该架构由 Vaswani 等人提出，如今已是 NLP 领域事实上的标准，T5、Bart、Pegasus、ProphetNet、Marge 等预训练目标各异但架构基本未变。
Hugging Face BlogAI 评分5252 Reformer 如何用不到 8GB 内存训练 50 万 token 序列
Hugging Face 博客详解 Reformer 如何用不到 8GB 内存训练长度达 50 万 token 的序列，而 bert-base-uncased 的输入长度上限只有 512 token。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布博客，介绍用 transformers 库进行自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个语言模型，并以世界语为例训练了 84M 参数（6 层、768 隐藏维度、12 注意力头）的 EsperBERTo。
推荐理由：以世界语为例完整演示从语料、分词器到预训练与下游微调的全流程，可迁移到其他低资源语言。
OpenAI NewsAI 评分1515 OpenAI 举办首届 Spinning Up 深度强化学习研讨会
OpenAI 于 2 月 2 日举办了首届 Spinning Up 研讨会，这是其新教育计划的一部分。
OpenAI NewsAI 评分5050 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布 Spinning Up in Deep RL，一套面向任何人学习深度强化学习、成为熟练实践者的教育资源。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种出人意料的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以反直觉的方式崩溃。
OpenAI NewsAI 评分1212 OpenAI 谈深度学习基础设施
OpenAI 指出深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。