Hugging Face Blog·· 2024-06-13AI 评分28
Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
AI 导读
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐，并新增低精度模式供显存受限场景使用。
来源：Hugging Face Blog · huggingface.co