Berkeley AI Research·· 2025-11-01AI 评分36
无需 TD 学习的强化学习:分治法实现可扩展的 off-policy RL
RL without TD learning
AI 导读
一项与 Aditya 合作的研究提出用"分治法"替代时序差分(TD)学习来做 off-policy RL,通过将轨迹对半切分并组合子段价值,理论上把 Bellman 递归次数从线性降到对数级。该方法在 goal-conditioned RL 中利用三角不等式构造"传递式"Bellman 更新,据称是首个将分治价值学习扩展到高复杂度任务的工作。目前仍待解决的问题是如何选取最优子目标 w。
来源:Berkeley AI Research · bair.berkeley.edu