OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),其表现与当时最先进方法相当或更好,同时实现和调参都简单得多。PPO 因易用且性能良好,已成为 OpenAI 的默认强化学习算法。
推荐理由:OpenAI 公开 PPO 算法并说明其比当时主流方法更易实现和调参,可了解该算法成为其默认强化学习方案的原因。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),其表现与当时最先进方法相当或更好,同时实现和调参都简单得多。PPO 因易用且性能良好,已成为 OpenAI 的默认强化学习算法。
推荐理由:OpenAI 公开 PPO 算法并说明其比当时主流方法更易实现和调参,可了解该算法成为其默认强化学习方案的原因。
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战,即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由:OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本,为评估多视角感知的鲁棒性提供了反例。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类在两种候选行为中指出哪个更好,来推断人类想要的目标。OpenAI 称,构建安全 AI 系统的一步是免去人类编写目标函数的需要,因为用简单代理替代复杂目标或把复杂目标写偏,可能导致不良甚至危险的行为。
推荐理由:OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法,可了解早期对齐研究的一条思路。
OpenAI 开源内部项目 OpenAI Baselines,目标是以与已发表结果相当的性能复现强化学习算法。算法将在未来数月陆续发布,首批包含 DQN 及其三个变体。
推荐理由:OpenAI 开源内部强化学习复现项目 Baselines,首批放出 DQN 及三个变体,可了解其复现思路与后续计划。
OpenAI 创建了一套机器人系统,完全在仿真环境中训练并部署到实体机器人上,该系统在看过一次任务演示后即可学会新任务。
推荐理由:OpenAI 早期机器人研究,展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI 发布 Roboschool,这是一款用于机器人仿真的开源软件,已与 OpenAI Gym 集成。
推荐理由:OpenAI 开源机器人仿真软件并接入 Gym,读者可了解早期机器人强化学习环境的开放入口。
OpenAI 发布 Universe,一个用于衡量和训练 AI 通用智能的软件平台,覆盖游戏、网站及其他应用。
推荐理由:OpenAI 发布 Universe 平台,读者可了解其用游戏和网站训练通用智能的定位。
OpenAI 发布 OpenAI Gym 公测版,这是一个用于开发和比较强化学习(RL)算法的工具包。它包含一套持续扩充的环境(从模拟机器人到 Atari 游戏),以及一个用于比较和复现结果的站点。
推荐理由:OpenAI 公开了强化学习环境套件与结果对比站点的公测入口,可据此了解早期 RL 研究基础设施的形态。
OpenAI 宣布成立,定位为非营利人工智能研究公司,目标是推进数字智能以最大程度造福全人类,而不受产生财务回报需求的约束。文中称,由于研究不受财务义务牵制,可以更专注于对人类产生积极影响。
推荐理由:OpenAI 官方公布其非营利研究机构定位与不受财务回报约束的目标,是理解其早期组织形态的一手材料。