OpenAI 首届黑客松活动报告
OpenAI 于 3 月 3 日举办了首届黑客松，共有 100 名人工智能社区成员参与。
#OpenAI
#OpenAI
今日 1 条OpenAI NewsAI 评分1818
OpenAI NewsAI 评分4242 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展的元学习算法 Reptile，通过反复采样任务、执行随机梯度下降并将初始参数朝该任务学到的最终参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需黑盒访问 SGD 或 Adam 等优化器，计算效率与性能相近。
OpenAI NewsAI 评分2222 OpenAI Scholars：为 underrepresented 群体提供 6–10 份深度学习全额奖学金与导师指导
OpenAI 推出 Scholars 项目，为来自 underrepresented 群体的个人提供 6–10 份津贴与导师指导，支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI NewsAI 评分4040 OpenAI 发布八个模拟机器人环境及 HER 基线实现
OpenAI 发布八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现，均基于过去一年的研究开发。这些环境已用于训练可迁移至实体机器人的模型，同时 OpenAI 还发布了一系列机器人研究课题请求。
OpenAI NewsAI 评分1010 OpenAI 旧金山 hackathon
OpenAI 将于 3 月 3 日（周六）在其旧金山 Mission District 办公室举办演讲与 hackathon 活动。
OpenAI NewsAI 评分00 OpenAI 迎来新捐赠者
OpenAI 宣布迎来新的捐赠者加入支持者行列。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意滥用的可能路径与防范思路，可作为早期 AI 安全治理讨论的参照。
OpenAI NewsAI 评分3838 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同时也能被人类理解。该方法会自动挑选最具信息量的示例来教授某个概念，例如用最适合描述"狗"这一概念的图像，实验显示它对 AI 教学有效。
OpenAI NewsAI 评分2222 OpenAI 用自动发现的类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分2222 OpenAI 发布 Requests for Research 2.0：七道未解研究难题
OpenAI 发布 Requests for Research 2.0，公开了 7 道在其研究过程中出现的未解难题。该系列此前已有第一版，此次为新一轮问题集合。
OpenAI NewsAI 评分4242 OpenAI 发布块稀疏 GPU 内核
OpenAI 发布面向块稀疏权重神经网络的高度优化 GPU 内核，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。该内核已用于文本情感分析以及文本和图像生成建模，并取得 SOTA 结果。
OpenAI NewsAI 评分4040 OpenAI 提出分层强化学习算法，学习高层动作加速长程任务
OpenAI 开发出一种分层强化学习算法，能学习对解决多类任务有用的高层动作，从而快速求解需要数千个时间步的任务。在导航问题集上，该算法发现了向不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI NewsAI 评分4242 OpenAI 让纯仿真训练的机器人控制器适应真实环境变化
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后，能在完成简单任务时应对环境中的意外变化，即从以往的开环系统转向闭环系统。
OpenAI News精选AI 评分6262 OpenAI 研究：自博弈让模拟 AI 自发学会身体技能
OpenAI 发现自博弈能让模拟 AI 在未专门设计环境的情况下，自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配，便于持续提升。结合 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统的核心部分更有信心。
推荐理由：OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI NewsAI 评分2222 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体能够快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI NewsAI 评分3131 OpenAI 发布 LOLA 算法：让智能体学会建模他人心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法在建模时考虑其他智能体也在学习这一事实，从而在迭代囚徒困境中发现"以牙还牙"这类既自利又合作的策略。OpenAI 称这是迈向能够建模他人心智的智能体的一小步。
OpenAI NewsAI 评分4242 OpenAI Baselines 新增 ACKTR 与 A2C 实现
OpenAI 在 Baselines 中发布 ACKTR 和 A2C 两个强化学习算法实现。A2C 是 A3C 的同步确定性变体，性能与之相当；ACKTR 比 TRPO 和 A2C 更节省样本，每次更新仅比 A2C 略多计算量。
OpenAI News精选AI 评分8080 OpenAI 详解 Dota 2 自对弈训练结果
OpenAI 公布 Dota 2 项目结果，说明在算力充足时自对弈能把机器学习系统从远低于人类水平提升到超人水平。系统在一个月内从勉强匹敌高排名玩家，进步到击败顶尖职业选手，此后仍在持续提升。OpenAI 指出，监督式深度学习系统的上限受训练数据集限制，而自对弈系统的可用数据会随智能体变强自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在足够算力下能把系统从远低于人类提升到超人水平。
OpenAI News精选AI 评分8282 OpenAI 打造 Dota 2 机器人，1v1 击败世界顶级选手
OpenAI 宣布其打造的机器人在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶级职业选手。该机器人完全通过自我对弈从零学习游戏，未使用模仿学习或树搜索。OpenAI 称这是朝着构建能在涉及真实人类的混乱复杂情境中完成明确目标的人工智能系统迈出的一步。
推荐理由：OpenAI 用自我对弈从零训练出击败 Dota 2 顶级选手的机器人，可了解其不依赖模仿学习与树搜索的技术路线。
OpenAI NewsAI 评分4242 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶发人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术为迈向安全 AI 系统而开发，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分1818 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声（parameter noise）往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI News精选AI 评分7070 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 公开 PPO 算法并说明其比当时主流方法更易实现和调参，可了解该算法成为其默认强化学习方案的原因。
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。
OpenAI NewsAI 评分4040 OpenAI 开源基于 MuJoCo 引擎的高性能 Python 机器人仿真库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种候选行为中指出哪个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏，可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法，可了解早期对齐研究的一条思路。
OpenAI NewsAI 评分2222 OpenAI：多智能体环境中的合作、竞争与通信学习
OpenAI 指出，智能体争夺资源的多智能体环境是通往 AGI 的踏脚石，具备两个有用特性：环境难度由竞争对手的技能决定，与自身克隆体竞争时难度恰好匹配自身水平；且这类环境不存在稳定均衡，智能体再聪明也始终面临变得更聪明的压力。这类环境与传统环境感受迥异，需要更多研究才能驾驭。
OpenAI News精选AI 评分6262 OpenAI 开源强化学习复现项目 Baselines，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。算法将在未来数月陆续发布，首批包含 DQN 及其三个变体。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续计划。
OpenAI News精选AI 评分6262 OpenAI 发布可在实体机器人上单次学习新任务的机器人系统
OpenAI 创建了一套机器人系统，完全在仿真环境中训练并部署到实体机器人上，该系统在看过一次任务演示后即可学会新任务。
推荐理由：OpenAI 早期机器人研究，展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI News精选AI 评分6262 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布 Roboschool，这是一款用于机器人仿真的开源软件，已与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解早期机器人强化学习环境的开放入口。
OpenAI NewsAI 评分4242 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为情感神经元，无需情感标注数据即可捕捉文本情感。
OpenAI NewsAI 评分2222 OpenAI 打造全球首个在仿真中训练、部署于实体机器人的垃圾邮件检测 AI
OpenAI 造出全球首个完全在仿真环境中训练、并部署到实体机器人上的垃圾邮件检测 AI。该系统将垃圾邮件识别从数字世界延伸到物理世界。
OpenAI NewsAI 评分4040 OpenAI 发现进化策略可作为强化学习的可扩展替代方案
OpenAI 发现，已有数十年历史的进化策略（ES）在现代强化学习基准（如 Atari/MuJoCo）上性能可与标准强化学习（RL）技术相媲美，同时规避了 RL 的诸多不便。
OpenAI NewsAI 评分4242 OpenAI 支持 Distill 上线：一本专注机器学习成果传播的新期刊
OpenAI 宣布支持 Distill 上线，这是一本旨在出色传播机器学习成果（无论新颖还是已有）的新型期刊。
OpenAI NewsAI 评分4242 OpenAI 新研究：智能体如何学会自己创造语言
OpenAI 公布一项新研究，让多个智能体在协作中自行发展出属于它们的语言。该研究聚焦智能体之间的沟通机制，而非使用人类预设的语言。
OpenAI NewsAI 评分4040 OpenAI 解析如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于机器的视觉错觉。OpenAI 展示了对抗样本如何跨不同媒介生效，并讨论了防御这类攻击为何困难。
OpenAI NewsAI 评分1515 OpenAI 团队规模更新至 45 人
OpenAI 团队现已达到 45 人，正共同推进 AI 能力前沿，包括验证新想法、构建新软件系统以及在机器人上部署机器学习。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种出人意料的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以反直觉的方式崩溃。
OpenAI News精选AI 评分6262 OpenAI 发布 Universe 软件平台
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖游戏、网站及其他应用。
推荐理由：OpenAI 发布 Universe 平台，读者可了解其用游戏和网站训练通用智能的定位。
OpenAI NewsAI 评分4040 OpenAI 与 Microsoft 合作在 Azure 上运行大规模实验
OpenAI 正与 Microsoft 合作，将大部分大规模实验迁移到 Azure 上运行。
OpenAI NewsAI 评分1212 OpenAI 举办首届机器学习自组织会议，逾 150 名 AI 从业者参与
OpenAI 上周在其办公室举办了首届机器学习自组织会议，超过 150 名 AI 从业者参加。