Mistral AI 开放 La Plateforme 平台测试,提供三个对话端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个对话端点和嵌入端点,各有不同性能价格取舍。
推荐理由:Mistral AI 开放首个平台服务测试,给出三个对话端点和嵌入端点的性能价格取舍,可据此判断其早期 API 能力边界。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个对话端点和嵌入端点,各有不同性能价格取舍。
推荐理由:Mistral AI 开放首个平台服务测试,给出三个对话端点和嵌入端点的性能价格取舍,可据此判断其早期 API 能力边界。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文并下调价格,同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API,并开放 DALL·E 3 API。
推荐理由:OpenAI 在 DevDay 一次性公布模型与开发者产品更新,可据此了解其模型能力与 API 布局的变化。
OpenAI 发布 GPTs,用户现在可以创建自定义版本的 ChatGPT,将指令、额外知识和任意技能组合在一起。
推荐理由:OpenAI 官方发布 GPTs,读者可据此了解 ChatGPT 从通用对话走向可自定义智能体的入口变化。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat,使用 OpenAssistant 约 2.1 万条英文对话数据,并采用 ChatML 格式标记对话角色。
推荐理由:原文完整给出用对话数据微调 StarCoder 的流程与代码,读者可据此复现一个开源编码助手。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解语言模型接入外部工具与实时信息的早期形态。
Hugging Face 发布开源工具 AI vs. AI,用于在多智能体环境中对强化学习模型进行排名。该工具托管于 Spaces,通过匹配算法让模型持续对战,并基于 ELO 评分系统(初始 1200 分)生成排行榜,用户将训练好的模型推送到 Hub 即可参与评估。
Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事,包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限,建议仅用于头脑风暴,最终内容仍应手写,并提到 Character.AI 等对话智能体可作替代方案。
Hugging Face 发布博客梳理让对话智能体变得有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)和基于人类反馈的强化学习(RLHF)。
OpenAI 通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游戏视频数据集上训练神经网络,仅使用少量承包商标注数据。经微调后,模型能学会制作钻石工具,这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口,具有较强通用性,是迈向通用计算机使用智能体的一步。
推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,仅需少量标注数据即可学会制作钻石工具。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布九个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在 Hugging Face Spaces 上在线与深度强化学习智能体对战扔雪球。该环境基于 Unity ML-Agents 构建并已开源托管于 Hugging Face Hub,后续还将推出 Snowball Fight 2vs2 版本,使用 MA-POCA 算法训练智能体团队协作。
OpenAI 发布 Safety Gym,一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习智能体评测,帮助测量其训练过程中的安全表现。
OpenAI 在模拟捉迷藏环境中训练智能体,观察到它们逐步学会使用更复杂的工具,并形成六种不同的策略与反策略,其中一些策略是该环境原本未被设计支持的。OpenAI 表示,这种在简单环境中自监督涌现出的复杂性,说明多智能体共同适应未来可能产生极其复杂且智能的行为。
推荐理由:OpenAI 在多智能体捉迷藏环境中观察到智能体自发形成六种工具使用策略,可了解涌现行为的实验路径。
OpenAI Five 在 Finals 周末连续两局击败世界冠军 Dota 2 战队 OG,成为首个战胜电竞世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下战胜高水平选手,但在公开职业比赛中落败,这也是 AI 首次在直播中击败电竞职业选手。
推荐理由:OpenAI Five 在直播中连续两局击败 Dota 2 世界冠军 OG,读者可据此了解 AI 在电竞对局中的实际进展。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境,支持在持久、开放式任务中容纳大量且数量可变的智能体。该平台通过引入众多智能体与物种,带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI Five 本周在温哥华 The International 上对阵顶尖 Dota 2 选手,两局均告负,但在两局的前 20–35 分钟内都保持了较高的获胜机会。
OpenAI Five 在三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍,其中四人曾打过职业 Dota。比赛在直播观众和 10 万名同时在线观看者面前进行。
推荐理由:OpenAI Five 在公开直播中战胜高分段人类队伍,可了解当时 AI 在复杂实时对抗游戏中的进展。
OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 的高分,超过此前所有已发表结果。其算法很简单:智能体从演示中精心挑选的状态出发进行一系列游戏,并使用 PPO 优化游戏得分来学习,PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由:OpenAI 用单次人类演示让智能体在 Montezuma's Revenge 上取得 74,500 分,可了解其基于 PPO 的简单方法。
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已开始击败 Dota 2 业余人类战队。
OpenAI 发布 Learning with Opponent-Learning Awareness(LOLA)算法,该算法在建模时考虑其他智能体也在学习这一事实,从而在迭代囚徒困境中发现"以牙还牙"这类既自利又合作的策略。OpenAI 称这是迈向能够建模他人心智的智能体的一小步。
OpenAI 公布 Dota 2 项目结果,说明在算力充足时自对弈能把机器学习系统从远低于人类水平提升到超人水平。系统在一个月内从勉强匹敌高排名玩家,进步到击败顶尖职业选手,此后仍在持续提升。OpenAI 指出,监督式深度学习系统的上限受训练数据集限制,而自对弈系统的可用数据会随智能体变强自动改善。
推荐理由:OpenAI 用 Dota 2 结果说明自对弈在足够算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的机器人在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶级职业选手。该机器人完全通过自我对弈从零学习游戏,未使用模仿学习或树搜索。OpenAI 称这是朝着构建能在涉及真实人类的混乱复杂情境中完成明确目标的人工智能系统迈出的一步。
推荐理由:OpenAI 用自我对弈从零训练出击败 Dota 2 顶级选手的机器人,可了解其不依赖模仿学习与树搜索的技术路线。
OpenAI 指出,智能体争夺资源的多智能体环境是通往 AGI 的踏脚石,具备两个有用特性:环境难度由竞争对手的技能决定,与自身克隆体竞争时难度恰好匹配自身水平;且这类环境不存在稳定均衡,智能体再聪明也始终面临变得更聪明的压力。这类环境与传统环境感受迥异,需要更多研究才能驾驭。
OpenAI 公布一项新研究,让多个智能体在协作中自行发展出属于它们的语言。该研究聚焦智能体之间的沟通机制,而非使用人类预设的语言。
OpenAI 发布 Universe,一个用于衡量和训练 AI 通用智能的软件平台,覆盖游戏、网站及其他应用。
推荐理由:OpenAI 发布 Universe 平台,读者可了解其用游戏和网站训练通用智能的定位。