跳到正文

#数据/训练

今日 5 条
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。

    推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。

4月21日周二
4月16日周四
4月10日周五
4月9日周四
4月1日周三
3月31日周二
  1. Hugging Face Blog22

    OpenMed 用 165 美元训练跨 25 物种的 mRNA 语言模型

    OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线,其中 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 明显优于 ModernBERT。团队随后扩展到 25 个物种,用 55 GPU-hours 训练出 4 个生产模型,并搭建了目前其他开源项目未提供的物种条件化系统。

3月25日周三
3月21日周六
  1. Hugging Face Blog66

    NVIDIA 发布一天内构建领域专用嵌入模型的微调教程

    NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月17日周二
3月13日周五
3月12日周四
  1. Google Research62

    Google 推出 Groundsource,用 Gemini 把新闻报道转为灾害数据

    Google 推出 Groundsource,一套用 Gemini 从非结构化新闻中提取历史灾害数据的方法,并发布首个开放数据集:覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录。

    推荐理由:Google 用 Gemini 把 80 种语言的新闻报道转成结构化灾害数据,并给出人工核验的准确率,可据此判断这套方法能否迁移到其他数据稀缺领域。

3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月7日周六
  1. Google Research62

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的开放语音数据集

    Google Research 发布 WAXAL,一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音,WAXAL-TTS 包含超过 565 小时高保真录音,数据采集由非洲高校与社区组织主导,覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发,并计划持续扩充语言种类。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,读者可了解低资源语言语音数据的采集方法与规模。

3月5日周四
3月4日周三
2月26日周四
2月18日周三
2月17日周二
2月13日周五
2月10日周二
2月6日周五
2月4日周三
  1. Google Research26

    Google Research 提出 Sequential Attention:让 AI 模型更精简更快且不牺牲准确率

    Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件加入模型,避免传统贪心算法带来的数量级训练开销。该方法把子集选择直接嵌入模型训练,可处理大规模 ML 模型,并在多个神经网络基准上取得 SOTA,同时支持特征选择、嵌入维度调整与权重剪枝。

2月3日周二
1月29日周四
1月28日周三
1月27日周二
1月24日周六
1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2,去掉自定义注意力核并降低训练不稳定

    微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。

    推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。