Hugging Face Blog·· 2024-03-20精选AI 评分62
GaLore：在消费级硬件上训练大模型
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face 博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，使 70 亿参数模型（如 Llama 架构）能在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由
原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例，读者可据此在消费级硬件上复现训练流程。
来源：Hugging Face Blog · huggingface.co