跳到正文
原文
Hugging Face Blog·· 2025-06-03精选AI 评分62

TRL 引入 vLLM 同卡部署,GRPO 训练吞吐最高提升 1.73 倍

No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL

AI 导读

TRL 从 v0.18.0 起支持 vLLM 与 GRPO 训练同卡部署(colocate),训练和推理共享同一批 GPU 并轮流执行,不再需要单独的推理服务器。

推荐理由

TRL 把 vLLM 与 GRPO 训练放在同一批 GPU 上,读者可据此判断在线学习训练的显存与吞吐取舍。

来源:Hugging Face Blog · huggingface.co