跳到正文

#模型发布

今日 0 条
5月13日周一
4月29日周一
  1. Hugging Face Blog62

    StarCoder2-15B-Instruct 发布:全透明自对齐代码模型

    Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个完全用透明且宽松许可流程自对齐训练的代码大语言模型,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。

    推荐理由:StarCoder2-15B-Instruct 用全透明自对齐流程达到 72.6 HumanEval,读者可据此判断自生成数据能否替代 GPT-4 蒸馏。

4月18日周四
4月17日周三
  1. Mistral AI80

    Mistral 发布开源模型 Mixtral 8x22B

    Mistral 发布开源模型 Mixtral 8x22B,采用稀疏 Mixture-of-Experts 架构,141B 参数中仅 39B 激活,以 Apache 2.0 许可开放。

    推荐理由:官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现,可据此判断其成本效率定位。

4月15日周一
  1. Hugging Face Blog65

    Hugging Face 发布 8B 多模态模型 Idefics2

    Hugging Face 发布多模态模型 Idefics2,参数量 8B,采用 Apache 2.0 开源许可,可接收任意文本与图像序列并生成文本回复,支持图像问答、文档信息抽取和基础算术。

    推荐理由:8B 参数、Apache 2.0 许可并同步开源指令微调数据集,读者可据此判断社区多模态微调的门槛变化。

4月14日周日
4月9日周二
2月28日周三
  1. Hugging Face Blog78

    BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集

    BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。

    推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。

2月26日周一
2月21日周三
  1. Hugging Face Blog78

    Google 发布开源大模型 Gemma,Hugging Face 全面集成

    Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能与 Mistral 7B 相当。

    推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。

1月19日周五
1月4日周四
12月11日周一
  1. Mistral AI88

    Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B

    Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家(SMoE)模型,同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。

    推荐理由:Mistral 放出 Apache 2.0 的稀疏 MoE 权重,并给出与 Llama 2 70B、GPT3.5 的对比,便于判断开源模型的成本性能取舍。

11月6日周一
9月27日周三
  1. Mistral AI80

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B

    Mistral AI 发布 7.3B 参数的 Mistral 7B,采用 Apache 2.0 许可,可无限制使用并支持本地部署。官方称其在全部基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。

    推荐理由:官方给出与 Llama 2 系列的同口径对比和 Apache 2.0 许可,读者可据此判断小参数模型的性价比与部署方式。

9月13日周三
9月6日周三
  1. Hugging Face Blog78

    TII 的 Falcon 180B 上线 Hugging Face

    TII 发布 Falcon 180B 并上线 Hugging Face Hub,提供 base 与 chat 两个版本。该模型有 1800 亿参数,在 3.5 万亿 token 的 RefinedWeb 数据上训练,使用最多 4096 张 GPU、约 700 万 GPU 小时。

    推荐理由:原文给出 Falcon 180B 的参数量、训练数据与评测对比,读者可据此判断开源大模型的规模与商用限制。

8月25日周五
  1. Hugging Face Blog82

    Code Llama 发布:Llama 2 的代码专用版本接入 Hugging Face 生态

    Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。

    推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。

8月22日周二
  1. Hugging Face Blog75

    Hugging Face 发布 IDEFICS:Flamingo 的开源复现视觉语言模型

    Hugging Face 发布开源视觉语言模型 IDEFICS,基于 DeepMind 未公开的 Flamingo,仅使用公开数据和模型(LLaMA v1 与 OpenCLIP)构建,提供 9B 和 80B 两个参数规模,各有基础版和指令微调版。

    推荐理由:Hugging Face 用公开数据和模型复现了未开源的 Flamingo,读者可了解其数据构成与开放程度。

7月18日周二
  1. Hugging Face Blog88

    Meta 发布 Llama 2,Hugging Face 同步上线全套集成

    Meta 发布开源大语言模型系列 Llama 2,包含 7B、13B、70B 的预训练与微调版本,采用宽松社区许可并允许商用。相比 Llama 1,预训练 token 增加 40%,上下文长度扩展到 4k tokens,70B 模型使用 grouped-query attention。

    推荐理由:Meta 发布可商用的 Llama 2 系列,Hugging Face 同步给出推理、部署与微调入口,便于判断开源模型的可落地程度。

6月5日周一
  1. Hugging Face Blog78

    Falcon 模型登陆 Hugging Face 生态

    阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。

    推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。

5月4日周四
  1. Hugging Face Blog78

    BigCode 发布 StarCoder:15B 参数开源代码大模型

    BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,约 15B 参数、1 万亿 token,StarCoder 是在 StarCoderBase 上用 35B Python token 微调而来。

    推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力位置。

3月14日周二
  1. OpenAI News95

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。

  2. OpenAI News89

    OpenAI 发布 GPT-4

    OpenAI 发布 GPT-4,官方说明它可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本或学习用户的写作风格。

    推荐理由:OpenAI 官方发布 GPT-4,并给出其在创意与技术写作上的生成、编辑与迭代能力。

3月6日周一
12月15日周四
  1. OpenAI News62

    OpenAI 发布新版嵌入模型

    OpenAI 宣布推出新的嵌入模型,称其在能力上显著提升,同时成本更低、使用更简单。原文未披露模型名称、版本号或具体评测数据。

    推荐理由:OpenAI 发布新版嵌入模型,原文只给出能力、成本与易用性三项变化,缺少具体参数。

11月30日周三
  1. OpenAI News96

    OpenAI 发布对话式模型 ChatGPT

    OpenAI 发布对话式模型 ChatGPT,以对话形式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。

    推荐理由:OpenAI 官方发布对话式模型 ChatGPT,读者可据此了解其对话交互定位与主要能力。

10月5日周三
9月21日周三
7月12日周二
3月15日周二
1月27日周四
  1. OpenAI News82

    OpenAI 发布 InstructGPT,成为 API 默认语言模型

    OpenAI 训练出 InstructGPT 模型,在遵循用户意图方面明显优于 GPT-3,同时更真实、毒性更低,训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和毒性上优于 GPT-3,并已成为 API 默认模型。

1月5日周二
  1. OpenAI News80

    OpenAI 发布 CLIP:用自然语言连接文本与图像

    OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:OpenAI 发布 CLIP,用自然语言监督学习视觉概念,可零样本迁移到任意视觉分类基准。

4月30日周四
  1. OpenAI News78

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时公开了模型权重和代码,以及一个用于试听生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。

11月5日周二
  1. OpenAI News85

    OpenAI 发布 GPT-2 1.5B 版本

    OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即 1.5B 参数的最大版本,同时开放代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。

    推荐理由:OpenAI 公布 GPT-2 分阶段发布的收尾版本,并给出代码与权重,便于理解大模型负责任发布流程。

8月20日周二
  1. OpenAI News82

    OpenAI 发布 774M 参数 GPT-2 模型

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后发布 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,方便机构之间建立模型共享合作,并发布一份技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。

    推荐理由:OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模,并给出模型共享的法律协议与技术报告。