Hugging Face Blog·2021-01-19 08:00· 2021-01-19精选AI 评分62

用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型

Fit More and Train Faster With ZeRO via DeepSpeed and FairScale

AI 导读

Hugging Face 的 transformers v4.2.0 起为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。

推荐理由

作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 和 DeepSpeed 的显存与速度差异，可据此选择训练方案。

来源：Hugging Face Blog · huggingface.co