trl 与 peft 集成：在 24GB 消费级 GPU 上 RLHF 微调 20B LLM

Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例，通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型，在 24GB NVIDIA 4090 上完成微调，完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍，后续将探索多 GPU 扩展与提速。