OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 公开 PPO 算法并说明其比当时主流方法更易实现和调参，可了解该算法成为其默认强化学习方案的原因。
#OpenAI
#OpenAI
今日 7 条OpenAI News精选AI 评分7070
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。
OpenAI NewsAI 评分4040 OpenAI 开源基于 MuJoCo 引擎的高性能 Python 机器人仿真库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种候选行为中指出哪个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏，可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法，可了解早期对齐研究的一条思路。
OpenAI NewsAI 评分2222 OpenAI：多智能体环境中的合作、竞争与通信学习
OpenAI 指出，智能体争夺资源的多智能体环境是通往 AGI 的踏脚石，具备两个有用特性：环境难度由竞争对手的技能决定，与自身克隆体竞争时难度恰好匹配自身水平；且这类环境不存在稳定均衡，智能体再聪明也始终面临变得更聪明的压力。这类环境与传统环境感受迥异，需要更多研究才能驾驭。
OpenAI News精选AI 评分6262 OpenAI 开源强化学习复现项目 Baselines，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。算法将在未来数月陆续发布，首批包含 DQN 及其三个变体。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续计划。
OpenAI News精选AI 评分6262 OpenAI 发布可在实体机器人上单次学习新任务的机器人系统
OpenAI 创建了一套机器人系统，完全在仿真环境中训练并部署到实体机器人上，该系统在看过一次任务演示后即可学会新任务。
推荐理由：OpenAI 早期机器人研究，展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI News精选AI 评分6262 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解早期机器人强化学习环境的开放入口。
OpenAI NewsAI 评分4242 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为情感神经元，无需情感标注数据即可捕捉文本情感。
OpenAI NewsAI 评分2222 OpenAI 打造全球首个在仿真中训练、部署于实体机器人的垃圾邮件检测 AI
OpenAI 造出全球首个完全在仿真环境中训练、并部署到实体机器人上的垃圾邮件检测 AI。该系统将垃圾邮件识别从数字世界延伸到物理世界。
OpenAI NewsAI 评分4040 OpenAI 发现进化策略可作为强化学习的可扩展替代方案
OpenAI 发现，已有数十年历史的进化策略（ES）在现代强化学习基准（如 Atari/MuJoCo）上性能可与标准强化学习（RL）技术相媲美，同时规避了 RL 的诸多不便。
OpenAI NewsAI 评分4242 OpenAI 支持 Distill 上线：一本专注机器学习成果传播的新期刊
OpenAI 宣布支持 Distill 上线，这是一本旨在出色传播机器学习成果（无论新颖还是已有）的新型期刊。
OpenAI NewsAI 评分4242 OpenAI 新研究：智能体如何学会自己创造语言
OpenAI 公布一项新研究，让多个智能体在协作中自行发展出属于它们的语言。该研究聚焦智能体之间的沟通机制，而非使用人类预设的语言。
OpenAI NewsAI 评分4040 OpenAI 解析如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于机器的视觉错觉。OpenAI 展示了对抗样本如何跨不同媒介生效，并讨论了防御这类攻击为何困难。
OpenAI NewsAI 评分1515 OpenAI 团队规模更新至 45 人
OpenAI 团队现已达到 45 人，正共同推进 AI 能力前沿，包括验证新想法、构建新软件系统以及在机器人上部署机器学习。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种出人意料的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以反直觉的方式崩溃。
OpenAI News精选AI 评分6262 OpenAI 发布 Universe 软件平台
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖游戏、网站及其他应用。
推荐理由：OpenAI 发布 Universe 平台，读者可了解其用游戏和网站训练通用智能的定位。
OpenAI NewsAI 评分4040 OpenAI 与 Microsoft 合作在 Azure 上运行大规模实验
OpenAI 正与 Microsoft 合作，将大部分大规模实验迁移到 Azure 上运行。
OpenAI NewsAI 评分1212 OpenAI 举办首届机器学习自组织会议，逾 150 名 AI 从业者参与
OpenAI 上周在其办公室举办了首届机器学习自组织会议，超过 150 名 AI 从业者参加。
OpenAI NewsAI 评分1212 OpenAI 谈深度学习基础设施
OpenAI 指出深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。
OpenAI NewsAI 评分88 OpenAI 机器学习 Unconference 信息页上线
OpenAI 机器学习 Unconference 的最新信息现已在 Unconference wiki 上发布，该 wiki 将定期更新，为参会者提供更多信息。
OpenAI NewsAI 评分88 OpenAI 团队新增成员
OpenAI 宣布已招聘更多优秀人才以帮助实现其目标，并对新加入的成员表示欢迎。
OpenAI NewsAI 评分88 OpenAI 特别项目：解决真正重要的科学问题
OpenAI 的特别项目（Special projects）聚焦于选择正确的研究问题——不只是有趣，而是其解决方案真正重要的问题。该团队认为，有影响力的科学工作需要在正确的问题上投入。
OpenAI NewsAI 评分4242 OpenAI 参与合著论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 的研究者共同合著了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI NewsAI 评分88 OpenAI 的技术目标
OpenAI 阐述其使命是构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地惠及所有人。
OpenAI NewsAI 评分1818 OpenAI 谈生成模型：四个项目与生成模型的现状与未来
OpenAI 介绍了四个围绕生成模型展开的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及它们可能的发展方向。
OpenAI NewsAI 评分1010 OpenAI 欢迎新团队成员加入
OpenAI 欢迎最新一批团队成员加入，并仍在持续招聘。
OpenAI News精选AI 评分6262 OpenAI 发布强化学习工具包 OpenAI Gym 公测版
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和比较强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于比较和复现结果的站点。
推荐理由：OpenAI 公开了强化学习环境套件与结果对比站点的公测入口，可据此了解早期 RL 研究基础设施的形态。
OpenAI NewsAI 评分00 OpenAI 欢迎 Pieter 和 Shivon 加入
OpenAI 宣布 Pieter 和 Shivon 两位新成员加入团队。这是 OpenAI 公布的最新两项团队人事更新。
OpenAI NewsAI 评分00 OpenAI 欢迎新成员加入团队
OpenAI 宣布过去几个月有多位优秀人才加入团队，并称仍在持续招聘。
OpenAI News精选AI 评分7575 OpenAI 宣布成立为非营利 AI 研究公司
OpenAI 宣布成立，定位为非营利人工智能研究公司，目标是推进数字智能以最大程度造福全人类，而不受产生财务回报需求的约束。文中称，由于研究不受财务义务牵制，可以更专注于对人类产生积极影响。
推荐理由：OpenAI 官方公布其非营利研究机构定位与不受财务回报约束的目标，是理解其早期组织形态的一手材料。