Hugging Face Blog·· 2025-06-03精选AI 评分62
TRL 引入 vLLM 同卡部署,GRPO 训练吞吐最高提升 1.73 倍
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
AI 导读
TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。
推荐理由
TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。
来源:Hugging Face Blog · huggingface.co