OpenAI 的全部动态：GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类偏好微调 GPT-2 的早期实验，展示了不同任务所需标注量的差异，以及标注者偏好与研究者预期不一致的现象。
OpenAI 在模拟捉迷藏环境中训练智能体，观察到它们逐步学会使用更复杂的工具，并形成六种不同的策略与反策略，其中一些策略是该环境原本未被设计支持的。OpenAI 表示，这种在简单环境中自监督涌现出的复杂性，说明多智能体共同适应未来可能产生极其复杂且智能的行为。
推荐理由：OpenAI 在多智能体捉迷藏环境中观察到智能体自发形成六种工具使用策略，可了解涌现行为的实验路径。
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后发布 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，方便机构之间建立模型共享合作，并发布一份技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模，并给出模型共享的法律协议与技术报告。
微软向 OpenAI 投资 10 亿美元，支持其构建通用人工智能（AGI）。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的硬件和软件平台，联合开发新的 Azure AI 超算技术，微软将成为 OpenAI 的独家云服务商。
推荐理由：微软向 OpenAI 投资 10 亿美元并成为其独家云服务商，读者可据此了解双方早期合作框架。
OpenAI 发布 MuseNet，一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络，并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识，而是通过学习预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 用与 GPT-2 同源的 Transformer 生成音乐，读者可了解通用序列建模向音频领域的早期延伸。
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进，从比此前长 30 倍的序列中提取模式。
推荐理由：OpenAI 用稀疏注意力把序列建模长度提升 30 倍，可了解长序列建模的早期技术路线。
OpenAI Five 在 Finals 周末连续两局击败世界冠军 Dota 2 战队 OG，成为首个战胜电竞世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下战胜高水平选手，但在公开职业比赛中落败，这也是 AI 首次在直播中击败电竞职业选手。
推荐理由：OpenAI Five 在直播中连续两局击败 Dota 2 世界冠军 OG，读者可据此了解 AI 在电竞对局中的实际进展。
OpenAI 宣布成立 OpenAI LP，一家 capped-profit 公司，用于快速增加在算力和人才上的投入，同时设置制衡机制以推进其使命。
推荐理由：OpenAI 公布 capped-profit 公司结构，读者可了解其早期在算力与人才投入上的组织安排。
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的段落文本，在多项语言建模基准上达到当时最优表现。该模型无需针对性训练即可完成基础阅读理解、机器翻译、问答和摘要等任务。
推荐理由：OpenAI 公布一个无监督语言模型，在多项语言任务上无需针对性训练即可完成，可据此了解早期大模型的能力边界。
OpenAI Five 本周在温哥华 The International 上对阵顶尖 Dota 2 选手，两局均告负，但在两局的前 20–35 分钟内都保持了较高的获胜机会。
OpenAI Five 在三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍，其中四人曾打过职业 Dota。比赛在直播观众和 10 万名同时在线观看者面前进行。
推荐理由：OpenAI Five 在公开直播中战胜高分段人类队伍，可了解当时 AI 在复杂实时对抗游戏中的进展。
OpenAI 训练出一只类人机械手，能够以空前的灵巧度操控实物。材料未披露具体方法、训练环境与评测数据。
推荐理由：OpenAI 用仿真环境训练类人机械手完成实物操作，可了解早期具身智能的迁移思路。
OpenAI 训练出一个智能体，仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 的高分，超过此前所有已发表结果。其算法很简单：智能体从演示中精心挑选的状态出发进行一系列游戏，并使用 PPO 优化游戏得分来学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：OpenAI 用单次人类演示让智能体在 Montezuma's Revenge 上取得 74,500 分，可了解其基于 PPO 的简单方法。
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已开始击败 Dota 2 业余人类战队。
OpenAI 用 Transformer 与无监督预训练结合的可扩展、与任务无关的系统，在一系列多样化语言任务上取得当时最优结果，并对外发布了该系统。OpenAI 表示，这一结果说明监督学习方法与无监督预训练搭配效果很好，希望推动在更大、更多样的数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。该指标自 2012 年以来增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 3.4 个月翻倍这一量化指标，给出 AI 训练算力增速与摩尔定律的对比参照。
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意滥用的可能路径与防范思路，可作为早期 AI 安全治理讨论的参照。
OpenAI 发现自博弈能让模拟 AI 在未专门设计环境的情况下，自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配，便于持续提升。结合 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统的核心部分更有信心。
推荐理由：OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI 公布 Dota 2 项目结果，说明在算力充足时自对弈能把机器学习系统从远低于人类水平提升到超人水平。系统在一个月内从勉强匹敌高排名玩家，进步到击败顶尖职业选手，此后仍在持续提升。OpenAI 指出，监督式深度学习系统的上限受训练数据集限制，而自对弈系统的可用数据会随智能体变强自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在足够算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的机器人在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶级职业选手。该机器人完全通过自我对弈从零学习游戏，未使用模仿学习或树搜索。OpenAI 称这是朝着构建能在涉及真实人类的混乱复杂情境中完成明确目标的人工智能系统迈出的一步。
推荐理由：OpenAI 用自我对弈从零训练出击败 Dota 2 顶级选手的机器人，可了解其不依赖模仿学习与树搜索的技术路线。