跳到正文

#数据/训练

今日 0 条
10月16日周五
10月15日周四
  1. Mistral AI62

    Mistral 发布时间序列基础模型 Timestral,209M 参数登顶三项基准

    Mistral 发布首个时间序列基础模型系列 Timestral,最大模型仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上均排名第一,且参数量只有此前 SOTA 的三分之二。

    推荐理由:Mistral 首次进入时间序列领域,给出四个尺寸与三项基准排名,可据此判断小参数模型在企业预测场景的可用性。

  2. Hugging Face Blog60

    Ai2 发布 HiRO-ACEv2:以约 1/300 成本生成全球 3 km 极端天气数据

    Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其新的降尺度模型 HiROv2 可同时预测多个高分辨率气象场,并提升极端事件预测能力。在给定粗化的 X-SHiELD 数据时,它能把目标模拟的高分辨率统计量匹配到 3% 以内,即使事件在百万个数据点中仅出现一次;它还能准确估算热带气旋总能量,包括训练中未出现过的风暴。

    推荐理由:原文给出极端天气模拟的精度与成本对比,读者可据此判断 AI 降尺度在气候研究中的可用边界。

10月7日周三
  1. The Verge · AI78

    OpenAI 发布 722 篇数学手稿,称解决数百个开放问题

    OpenAI 公开了一批由未发布的前沿模型产出的数学成果,共 722 篇手稿、覆盖 372 个结果族,据独立顾问组织 AGMAI 称其中包含对数百个开放问题的解答。OpenAI 表示这些结果平均消耗相当于 ChatGPT Pro 三小时的思考算力,并披露了部分推理摘要与算力估算。AGMAI 此前建议 AI 实验室及时通过学术渠道发布数学结果,并避免把成果发布当作模型营销手段。

    推荐理由:OpenAI 一次性公开 722 篇数学手稿,读者可借此观察前沿模型产出研究成果的发布方式与学界争议。

10月6日周二
10月5日周一
10月4日周日
9月29日周二
  1. Hugging Face Blog66

    NVIDIA 发布 Kumo Tabular 表格预测基础模型

    NVIDIA 发布开源表格基础模型 Kumo Tabular,可在单次前向传播中完成分类与回归预测,无需训练、调参和特征工程。模型提供 28M 到 215M 三种规模,仅用人工合成表格预训练,采用 OpenMDW-1.1 许可支持商用,在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准上排名第一。

    推荐理由:原文给出模型规模、训练数据来源与四项基准排名,读者可据此判断表格基础模型的准确率与效率取舍。

  2. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,整个筛选到候选验证过程仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月22日周二
  1. Latent Space80

    小米发布 MiMo-V2.6-Pro 1T-A42B 开源权重模型,训练成本 300 万美元

    小米发布 MiMo-V2.6 系列原生全模态开源权重模型,其中 MiMo-V2.6-Pro 为 1.02T 总参数、42B 激活参数,采用 MIT 许可,Artificial Analysis 智能指数为 46,定价为输入 $0.435/M tokens、输出 $0.87/M tokens。

    推荐理由:小米首次进入前沿开源模型序列,其 RL 环境与训练配方一并开源,读者可据此判断开源权重竞争的成本门槛变化。

9月3日周四
9月1日周二
8月6日周四
7月16日周四
6月30日周二
  1. Google Research76

    Google 发布表格数据零样本基础模型 TabFM

    Google Research 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测重构为上下文学习问题,无需手动训练、超参数调优和特征工程即可在单次前向传播中给出预测。

    推荐理由:Google 把零样本思路从时序预测搬到表格数据,读者可了解其架构设计与 TabArena 基准表现。

5月20日周三
5月15日周五
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

1月5日周一
12月17日周三
11月17日周一
9月26日周五
9月12日周五
9月9日周二
7月10日周四
5月21日周三
5月15日周四
3月18日周二
  1. Hugging Face Blog71

    NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1

    NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。

    推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。

12月17日周二
  1. OpenAI News78

    OpenAI 发布 o1 模型及多项开发者工具更新

    OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。

    推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。

10月24日周四
  1. Hugging Face Blog62

    Cohere For AI 发布 Aya Expanse 多语言模型,公开完整后训练流程

    Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,均以开放权重形式发布。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。

    推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型在数据、偏好训练与模型合并上的具体做法。

8月12日周一
  1. Hugging Face Blog62

    TII 发布 Falcon Mamba:首个强性能无注意力 7B 模型

    阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,模型以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。

    推荐理由:TII 发布首个纯 Mamba 架构 7B 模型,给出与同规模 Transformer 的基准对比和长序列显存实测。

7月18日周四
  1. Mistral AI75

    Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo

    Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,支持最长 128k tokens 上下文窗口,预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源,可替换现有 Mistral 7B 系统。

    推荐理由:Mistral 与 NVIDIA 联合发布的 12B 模型,给出了 128k 上下文、Apache 2.0 许可和 Tekken 分词器的具体压缩数据,便于判断其替换 Mistral 7B 的可行性。

7月16日周二
6月27日周四
6月25日周二
2月28日周三
  1. Hugging Face Blog78

    BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集

    BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。

    推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。

1月19日周五