TRL 库新增对视觉语言模型（VLM）的 DPO 支持

Hugging Face 的 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。