OpenAI 训练批评写作模型，帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，且规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用模型写批评来辅助人类发现摘要缺陷，并观察到规模对自我批评能力的提升更明显。
#OpenAI
#OpenAI
今日 7 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分4040 训练大型神经网络的技术
大型神经网络是近期许多 AI 进展的核心，但其训练是一项困难的工程与研究挑战，需要协调一整个 GPU 集群来完成单次同步计算。
OpenAI NewsAI 评分3838 Cohere、OpenAI 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套适用于任何开发或部署大语言模型组织的初步最佳实践。该实践面向所有从事大语言模型开发与部署的机构。
OpenAI NewsAI 评分4242 OpenAI Codex 通过 API 为 70 款应用提供支持
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持，覆盖多种使用场景。
OpenAI News精选AI 评分7272 OpenAI 更新 DALL·E 2 研究预览：每周新增最多 1000 名候补用户
OpenAI 更新 DALL·E 2 研究预览进展，早期用户迄今已生成超过 300 万张图像，并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由：官方披露 DALL·E 2 研究预览的早期使用规模与每周放量节奏，可据此了解其开放进度。
OpenAI NewsAI 评分2323 OpenAI 领导团队更新
OpenAI 宣布多项高管职位调整，称这些变动反映了公司近期进展，并将确保继续推进下一阶段重要里程碑。
OpenAI NewsAI 评分2222 OpenAI 如何度量古德哈特定律
OpenAI 探讨古德哈特定律在 AI 优化中的影响：当一个度量指标变成目标时，它就不再是好的度量。该定律源自经济学，但在 OpenAI 优化难以或高成本度量的目标时同样适用。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-3 与 Codex 新版本，支持编辑和插入内容
OpenAI 发布新版本 GPT-3 和 Codex，可在已有文本中编辑或插入内容，而不再只是续写现有文本。
推荐理由：OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力，读者可了解模型从续写扩展到改写已有文本的变化。
OpenAI NewsAI 评分3030 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 公开其在语言模型安全与滥用方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI NewsAI 评分1818 OpenAI 征集大语言模型经济影响研究意向
OpenAI 发起意向征集，邀请研究者参与研究大语言模型的经济影响。该征集面向有意开展相关研究的各方，具体参与方式与研究方向未在文中进一步说明。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的问题。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出 InstructGPT 模型，在遵循用户意图方面明显优于 GPT-3，同时更真实、毒性更低，训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性上优于 GPT-3，并已成为 API 默认模型。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出文本与代码 embeddings 端点
OpenAI 在 API 中推出 embeddings 端点，用于自然语言和代码任务。该端点支持语义搜索、聚类、主题建模和分类等场景。
推荐理由：OpenAI 在 API 中新增 embeddings 端点，读者可据此了解语义搜索与代码任务的新接入方式。
OpenAI News精选AI 评分6060 OpenAI 发布 WebGPT：通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其能借助基于文本的网页浏览器更准确地回答开放式问题。
推荐理由：OpenAI 用文本浏览器微调 GPT-3 提升开放问答事实准确率，可了解早期检索增强思路。
OpenAI NewsAI 评分5050 OpenAI 推出 GPT-3 微调功能：一条命令定制你的应用
OpenAI 为 GPT-3 推出微调功能，开发者只需一条命令即可针对自己的应用定制模型。
OpenAI NewsAI 评分3030 OpenAI 推出 Residency 人才驻留计划
OpenAI 宣布推出 OpenAI Residency，作为其支持和培养 AI 人才努力的一部分。该计划面向有志进入 AI 领域的人才，具体申请条件、时间安排与名额等细节尚未在公告中披露。
OpenAI News精选AI 评分7878 OpenAI API 取消等待名单，全面开放
OpenAI 宣布其 API 不再需要等待名单即可使用，并称更广泛的开放得益于安全方面的进展。
推荐理由：OpenAI 取消 API 等待名单，读者可据此了解其 API 开放范围与安全进展的关系。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在数据集测试中得分 55%，而 9-12 岁儿童小样本在同一批题目上得分 60%。
推荐理由：OpenAI 用小学数学应用题对比自家系统与微调 GPT-3 及 9-12 岁儿童的表现，可了解当时模型推理能力的边界。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述文本微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，使其能按文本描述检索卫星图像。训练采用对比学习，并用 Torchvision 图像增强与 Marian MT 回译文本增强抑制过拟合。模型、项目页与 demo 均已公开，可用于以文本查询大规模卫星图像库。
OpenAI NewsAI 评分4242 OpenAI 用人类反馈摘要书籍
OpenAI 利用人类反馈来扩展 AI 系统在难以评估任务上的监督能力，并将其应用于书籍摘要。
OpenAI NewsAI 评分2222 Helen Toner 加入 OpenAI 董事会
OpenAI 宣布任命 Helen Toner 为董事会成员。Toner 现任乔治城大学安全与新兴技术中心（CSET）战略主管，此前曾在 Open Philanthropy 工作。
OpenAI News精选AI 评分6262 OpenAI 发布改进版 Codex，通过 API 开放私测
OpenAI 发布改进版 Codex，这是其将自然语言转换为代码的 AI 系统。该版本从今天起通过 API 以私测形式开放。
推荐理由：OpenAI 官方公布 Codex 改进版本并开放 API 私测，读者可了解自然语言转代码能力的接入方式。
OpenAI News精选AI 评分6262 OpenAI 发布 Triton 1.0：面向神经网络的 GPU 编程开源语言
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI NewsAI 评分4242 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分2222 OpenAI Scholars 2021 毕业项目发布
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
OpenAI NewsAI 评分3030 Will Hurd 加入 OpenAI 董事会
OpenAI 宣布美国国会议员 Will Hurd 加入其董事会。OpenAI 表示，实现造福全人类的通用人工智能目标，既需要技术专长，也需要公共政策方面的经验。
OpenAI News精选AI 评分6262 OpenAI 称已有超 300 款应用通过 API 接入 GPT-3
OpenAI 表示，已有超过 300 款应用通过其 API 使用 GPT-3，提供搜索、对话、文本补全等 AI 功能。
OpenAI News精选AI 评分6262 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现一类神经元，无论概念以字面、符号还是概念形式呈现都会产生响应。这可能解释 CLIP 在分类出人意料的视觉概念变体时仍保持准确，也是理解 CLIP 及同类模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念跨字面、符号与概念形式响应的神经元，为理解其分类准确性与习得偏见提供线索。
OpenAI NewsAI 评分4242 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 已将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP 和 DALL·E 等大模型提供可扩展基础设施，同时支持 Scaling Laws for Neural Language Models 这类快速小规模迭代研究。
OpenAI News精选AI 评分8585 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言描述生成图像，覆盖自然语言可表达的广泛概念。
推荐理由：OpenAI 官方公布 DALL·E 这一文本生成图像神经网络，可据此了解早期文生图模型的能力定位。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 发布 CLIP，用自然语言监督学习视觉概念，可零样本迁移到任意视觉分类基准。
OpenAI NewsAI 评分1616 OpenAI 组织架构更新
OpenAI 发布组织更新，称过去一年公司经历了剧烈变化与增长。原文未披露具体调整细节。
OpenAI News精选AI 评分6868 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，用于其自有产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务，读者可据此了解双方早期合作的关键一步。
OpenAI NewsAI 评分5252 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI NewsAI 评分2222 OpenAI Scholars 2020 公布最终项目
OpenAI Scholars 2020 届学员在线上 Demo Day 展示了各自过去五个月的最终研究项目，这是该项目的第三届。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性，研究显示其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分7575 OpenAI 发布 API，开放调用其新 AI 模型
OpenAI 发布 API，用于访问其开发的新 AI 模型。
推荐理由：OpenAI 开放 API 供开发者调用其新模型，是了解其模型对外提供方式起点的简短记录。
OpenAI News精选AI 评分8080 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。该页面正文抓取失败，仅标题可用。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来，在 ImageNet 分类上训练神经网络达到同等性能所需的算力每 16 个月减少一半。相比 2012 年，训练到 AlexNet 水平所需算力减少 44 倍，而同期摩尔定律只带来 11 倍的成本改善。OpenAI 认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对比理解 AI 效率来源。