Hugging Face Blog·· 2023-09-13精选AI 评分62
用 PyTorch FSDP 微调 Llama 2 70B
Fine-tuning Llama 2 70B using PyTorch FSDP
AI 导读
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并给出在 2 节点 16 张 A100 80GB 上的完整配置。
推荐理由
原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法，可迁移到同类大模型训练。
来源：Hugging Face Blog · huggingface.co