Würstchen 发布:面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen 扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断文生图模型的成本与显存门槛变化。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
Hugging Face 发布 Würstchen 扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断文生图模型的成本与显存门槛变化。
TII 发布 Falcon 180B 并上线 Hugging Face Hub,提供 base 与 chat 两个版本。该模型有 1800 亿参数,在 3.5 万亿 token 的 RefinedWeb 数据上训练,使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由:原文给出 Falcon 180B 的参数量、训练数据与评测对比,读者可据此判断开源大模型的规模与商用限制。
Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。
推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。
Hugging Face 发布开源视觉语言模型 IDEFICS,基于 DeepMind 未公开的 Flamingo,仅使用公开数据和模型(LLaMA v1 与 OpenCLIP)构建,提供 9B 和 80B 两个参数规模,各有基础版和指令微调版。
推荐理由:Hugging Face 用公开数据和模型复现了未开源的 Flamingo,读者可了解其数据构成与开放程度。
Meta 发布开源大语言模型系列 Llama 2,包含 7B、13B、70B 的预训练与微调版本,采用宽松社区许可并允许商用。相比 Llama 1,预训练 token 增加 40%,上下文长度扩展到 4k tokens,70B 模型使用 grouped-query attention。
推荐理由:Meta 发布可商用的 Llama 2 系列,Hugging Face 同步给出推理、部署与微调入口,便于判断开源模型的可落地程度。
阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。
推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力位置。
OpenAI 发布 GPT-4,称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。
推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。
OpenAI 发布 GPT-4,官方说明它可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,并给出其在创意与技术写作上的生成、编辑与迭代能力。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源公开。
推荐理由:Kakao Brain 首次公开 ALIGN 模型并附带训练数据,读者可据此了解可复现的视觉语言建模路径。
OpenAI 宣布推出新的嵌入模型,称其在能力上显著提升,同时成本更低、使用更简单。原文未披露模型名称、版本号或具体评测数据。
推荐理由:OpenAI 发布新版嵌入模型,原文只给出能力、成本与易用性三项变化,缺少具体参数。
OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与主要能力。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,是首个完全透明训练的多语言 LLM。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点,读者可据此了解开放大模型在透明度上的具体做法。
OpenAI 发布新版本 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解模型从续写扩展到改写已有文本的变化。
OpenAI 训练出 InstructGPT 模型,在遵循用户意图方面明显优于 GPT-3,同时更真实、毒性更低,训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和毒性上优于 GPT-3,并已成为 API 默认模型。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的广泛概念。
推荐理由:OpenAI 官方公布 DALL·E 这一文本生成图像神经网络,可据此了解早期文生图模型的能力定位。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 发布 CLIP,用自然语言监督学习视觉概念,可零样本迁移到任意视觉分类基准。
OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时公开了模型权重和代码,以及一个用于试听生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即 1.5B 参数的最大版本,同时开放代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的收尾版本,并给出代码与权重,便于理解大模型负责任发布流程。