跳到正文

OpenAI / ChatGPT

OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。

最新精选

第 301–320 条 · 共 349 条
1月27日周四
  1. OpenAI News82

    OpenAI 发布 InstructGPT,成为 API 默认语言模型

    OpenAI 训练出 InstructGPT 模型,在遵循用户意图方面明显优于 GPT-3,同时更真实、毒性更低,训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和毒性上优于 GPT-3,并已成为 API 默认模型。

1月25日周二
12月16日周四
11月18日周四
10月29日周五
  1. OpenAI News62

    OpenAI 训练系统求解小学数学应用题,准确率约为微调 GPT-3 的两倍

    OpenAI 训练了一个求解小学数学应用题的模型,准确率接近微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量,在数据集测试中得分 55%,而 9-12 岁儿童小样本在同一批题目上得分 60%。

    推荐理由:OpenAI 用小学数学应用题对比自家系统与微调 GPT-3 及 9-12 岁儿童的表现,可了解当时模型推理能力的边界。

8月10日周二
7月28日周三
3月25日周四
3月4日周四
  1. OpenAI News62

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现一类神经元,无论概念以字面、符号还是概念形式呈现都会产生响应。这可能解释 CLIP 在分类出人意料的视觉概念变体时仍保持准确,也是理解 CLIP 及同类模型所学关联与偏见的重要一步。

    推荐理由:OpenAI 在 CLIP 中发现对同一概念跨字面、符号与概念形式响应的神经元,为理解其分类准确性与习得偏见提供线索。

1月5日周二
  1. OpenAI News80

    OpenAI 发布 CLIP:用自然语言连接文本与图像

    OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:OpenAI 发布 CLIP,用自然语言监督学习视觉概念,可零样本迁移到任意视觉分类基准。

9月22日周二
6月17日周三
  1. OpenAI News62

    OpenAI 发布 Image GPT:用 Transformer 生成图像

    OpenAI 发现,正如在语言上训练的大型 Transformer 模型能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究显示其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。

    推荐理由:OpenAI 用同一 Transformer 架构处理像素序列,并给出生成质量与分类精度的关联证据。

6月11日周四
5月28日周四
5月5日周二
  1. OpenAI News62

    OpenAI 分析:ImageNet 训练算力每 16 个月减半

    OpenAI 发布分析称,自 2012 年以来,在 ImageNet 分类上训练神经网络达到同等性能所需的算力每 16 个月减少一半。相比 2012 年,训练到 AlexNet 水平所需算力减少 44 倍,而同期摩尔定律只带来 11 倍的成本改善。OpenAI 认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。

    推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对比理解 AI 效率来源。

4月30日周四
  1. OpenAI News78

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时公开了模型权重和代码,以及一个用于试听生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。

12月13日周五
11月5日周二
  1. OpenAI News85

    OpenAI 发布 GPT-2 1.5B 版本

    OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即 1.5B 参数的最大版本,同时开放代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。

    推荐理由:OpenAI 公布 GPT-2 分阶段发布的收尾版本,并给出代码与权重,便于理解大模型负责任发布流程。

10月15日周二
  1. OpenAI News78

    OpenAI 用机械手解魔方:仿真训练加 ADR 应对真实世界扰动

    OpenAI 训练了一对神经网络,让类人机械手解开魔方。神经网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要极高灵巧度的物理世界问题。

    推荐理由:OpenAI 用仿真训练加 ADR 让机械手解魔方,可了解强化学习从虚拟任务走向物理操作的关键思路。