OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布文章阐述其对 AGI 及更远未来的规划,称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的立场。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布文章阐述其对 AGI 及更远未来的规划,称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的立场。
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的,并介绍其改进计划,包括让用户拥有更多定制空间,以及在相关决策中引入更多公众意见。
推荐理由:OpenAI 说明 ChatGPT 行为如何被塑造,并给出用户定制与公众参与决策的改进方向。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可了解其订阅模式的最初形态。
OpenAI 与 Microsoft 宣布延长双方的合作关系,公告未披露具体条款、金额或期限。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入模型,称其在能力上显著提升,同时成本更低、使用更简单。原文未披露模型名称、版本号或具体评测数据。
推荐理由:OpenAI 发布新版嵌入模型,原文只给出能力、成本与易用性三项变化,缺少具体参数。
Hugging Face 博客图解 RLHF 的完整流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,并用 KL 散度惩罚约束策略偏离初始模型,同时介绍了 TRL、TRLX、RL4LMs 等开源实现及 Anthropic 在 Hub 上发布的数据集。
推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并梳理了 TRL、TRLX、RL4LMs 等开源工具与主要论文,适合作为理解该流程的入门参考。
OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与主要能力。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face 发布教程,介绍如何用 🤗 Transformers 在任意多语言 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例,用约 8 小时训练数据微调 244M 参数的 Whisper small,最佳 WER 为 32.0%,相比预训练模型的 63.5% 提升 31.5 个百分点。
推荐理由:以 8 小时印地语数据微调 Whisper small 的完整流程,WER 从 63.5% 降至 32.0%,可复用的多语言 ASR 微调方法。
OpenAI 宣布 DALL·E 不再需要候补名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 候补名单,读者可了解其安全系统改进后开放策略的变化。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,在原有画面之外继续延展内容,从而讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从等待名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放规模与积分定价,读者可据此了解早期图像生成产品的可用方式。
OpenAI 表示,在 DALL·E 2 研究预览阶段,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在 DALL·E 功能决策中提供了关键意见。
推荐理由:DALL·E 2 研究预览阶段已有 118 个国家逾 3000 名艺术家将其纳入创作流程,可了解早期使用规模。
OpenAI 通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游戏视频数据集上训练神经网络,仅使用少量承包商标注数据。经微调后,模型能学会制作钻石工具,这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口,具有较强通用性,是迈向通用计算机使用智能体的一步。
推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,仅需少量标注数据即可学会制作钻石工具。
OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后,发现摘要缺陷的频率明显提高。研究还发现,模型规模越大自我批评能力越强,且规模对批评写作的提升大于对摘要写作的提升,这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由:OpenAI 用模型写批评来辅助人类发现摘要缺陷,并观察到规模对自我批评能力的提升更明显。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 研究预览的早期使用规模与每周放量节奏,可据此了解其开放进度。
OpenAI 发布新版本 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解模型从续写扩展到改写已有文本的变化。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够求解多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 的题目,以及两道改编自 IMO 的问题。
推荐理由:OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目,可了解形式化数学推理的早期进展。