Hugging Face 复盘 GPT-OSS 智能体 RL 训练：修复 MoE 对数概率不匹配

Hugging Face 发布复盘，介绍在 verl 框架中解锁 GPT-OSS 智能体强化学习训练的过程。团队发现 GPT-OSS-20B 训练时 KL 散度与熵爆炸、奖励不升，根因是 MoE 架构下双前向传播导致新旧 log-prob 不匹配，使 PPO 重要性采样比值偏离 1。修复后该方案同样适用于 GPT-OSS-120B。