OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类在两种候选行为中指出哪个更好,来推断人类想要的目标。OpenAI 称,构建安全 AI 系统的一步是免去人类编写目标函数的需要,因为用简单代理替代复杂目标或把复杂目标写偏,可能导致不良甚至危险的行为。
推荐理由:OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法,可了解早期对齐研究的一条思路。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类在两种候选行为中指出哪个更好,来推断人类想要的目标。OpenAI 称,构建安全 AI 系统的一步是免去人类编写目标函数的需要,因为用简单代理替代复杂目标或把复杂目标写偏,可能导致不良甚至危险的行为。
推荐理由:OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法,可了解早期对齐研究的一条思路。
OpenAI 创建了一套机器人系统,完全在仿真环境中训练并部署到实体机器人上,该系统在看过一次任务演示后即可学会新任务。
推荐理由:OpenAI 早期机器人研究,展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。