OpenAI 发布 MuseNet 音乐生成神经网络
OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识,而是通过学习预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 用与 GPT-2 同源的 Transformer 生成音乐,读者可了解通用序列建模向音频领域的早期延伸。
OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识,而是通过学习预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 用与 GPT-2 同源的 Transformer 生成音乐,读者可了解通用序列建模向音频领域的早期延伸。
OpenAI 训练了一个大规模无监督语言模型,能生成连贯的段落文本,在多项语言建模基准上达到当时最优表现。该模型无需针对性训练即可完成基础阅读理解、机器翻译、问答和摘要等任务。
推荐理由:OpenAI 公布一个无监督语言模型,在多项语言任务上无需针对性训练即可完成,可据此了解早期大模型的能力边界。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),其表现与当时最先进方法相当或更好,同时实现和调参都简单得多。PPO 因易用且性能良好,已成为 OpenAI 的默认强化学习算法。
推荐理由:OpenAI 公开 PPO 算法并说明其比当时主流方法更易实现和调参,可了解该算法成为其默认强化学习方案的原因。