跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

126条精选相关主题论文研究部署工程模型发布

最新精选

第 41–60 条 · 共 126 条
4月30日周四
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何构建的:五阶段预训练、SFT 与多阶段 RL 全流程

    IBM Granite 团队发布 Granite 4.1 系列稠密 decoder-only LLM(3B、8B、30B),基于约 15T token 的五阶段预训练流程,上下文窗口最长扩展至 512K token,并以 Apache 2.0 许可开源。

    推荐理由:Granite 4.1 完整披露五阶段预训练、SFT 与多阶段 RL 的数据配比和训练配置,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。

    推荐理由:原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断分布式预训练的成本与容错边界。

3月31日周二
3月21日周六
  1. Hugging Face Blog66

    NVIDIA 发布一天内构建领域专用嵌入模型的微调教程

    NVIDIA 发布教程,介绍用单张 GPU 在一天内将通用嵌入模型微调为领域专用模型,无需人工标注。流程基于 NeMo Data Designer 生成合成问答数据、挖掘难负样本并微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据上 Recall@10 和 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 给出从合成数据到部署的完整嵌入模型微调流程,并附 Atlassian 在 Jira 数据上的实测提升。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月12日周四
  1. Google Research62

    Google 推出 Groundsource,用 Gemini 把新闻报道转为灾害数据

    Google 推出 Groundsource,一套用 Gemini 从非结构化新闻中提取历史灾害数据的方法,并发布首个开放数据集:覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录。

    推荐理由:Google 用 Gemini 把 80 种语言的新闻报道转成结构化灾害数据,并给出人工核验的准确率,可据此判断这套方法能否迁移到其他数据稀缺领域。

3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月7日周六
  1. Google Research62

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的开放语音数据集

    Google Research 发布 WAXAL,一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音,WAXAL-TTS 包含超过 565 小时高保真录音,数据采集由非洲高校与社区组织主导,覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发,并计划持续扩充语言种类。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,读者可了解低资源语言语音数据的采集方法与规模。

3月4日周三
2月26日周四
1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2,去掉自定义注意力核并降低训练不稳定

    微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。

    推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。

1月13日周二
  1. Google Research61

    NeuralGCM 借助 AI 改进全球长期降水模拟

    Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接以 NASA 2001 至 2018 年卫星降水观测训练其机器学习部分,而非依赖再分析数据。

    推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报和数十年气候模拟上均优于传统模型,可看混合建模路线的新进展。

12月11日周四
  1. Hugging Face Blog62

    Hugging Face 教程:用 Codex 和 HF Skills 端到端微调开源模型

    Hugging Face 发布教程,展示如何让 OpenAI Codex 借助 Hugging Face Skills 仓库完成端到端机器学习实验:验证数据集格式、选择硬件、生成并更新训练脚本、提交 Hugging Face Jobs、监控 Trackio 指标、评估 checkpoint 并生成训练报告。

    推荐理由:原文给出 Codex 结合 HF Skills 完成端到端微调的完整流程与成本区间,可据此判断能否把训练实验交给编码智能体。

12月5日周五
12月3日周三
  1. OpenAI News62

    OpenAI 收购 Neptune

    OpenAI 宣布收购 Neptune,以加深对模型行为的可见性,并强化研究人员用于追踪实验和监控训练的工具。

    推荐理由:OpenAI 收购 Neptune 以增强模型行为可见性与训练监控工具,读者可据此了解其在训练基础设施上的布局。