跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

126条精选相关主题论文研究部署工程模型发布

最新精选

第 61–80 条 · 共 126 条
12月1日周一
11月21日周五
11月17日周一
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变化:中国开源模型与国产芯片的相互牵引

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为 Ascend、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源,并推动 CUDA 之外的软件生态成形。

    推荐理由:梳理中国开源模型与国产芯片互相牵引的路径,帮助读者理解算力受限如何影响模型架构与部署选择。

10月27日周一
9月10日周三
  1. Hugging Face Blog60

    Hugging Face 用 Jupyter Notebook 数据训练小模型做数据分析智能体

    Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle notebook 经去重、教育质量打分、QA 与轨迹生成后得到 51k 合成 notebook、近 0.2B token 的数据集,微调 Qwen3-4B。

    推荐理由:完整披露了从 Kaggle notebook 清洗到 SFT 的数据管线与脚手架改动,可迁移到其他小模型智能体训练。

8月21日周四
8月8日周五
6月3日周二
5月15日周四
4月26日周六
  1. Hugging Face Blog62

    ServiceNow 开源 PipelineRL:用飞行中权重更新提升 LLM 强化学习训练效率

    ServiceNow 开源实验性 RL 实现 PipelineRL,核心创新是在 RL 训练中进行飞行中权重更新,让推理服务器在不停止推理的情况下接收新权重,从而同时保持高推理吞吐和接近 on-policy 的数据采集。

    推荐理由:ServiceNow 开源 PipelineRL,用飞行中权重更新化解推理吞吐与 on-policy 数据采集的取舍,并给出 7B/32B 训练对比结果。

3月18日周二
  1. Hugging Face Blog71

    NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1

    NVIDIA 在 GTC 2025 上发布三项面向物理 AI 开发的开源成果:世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。

    推荐理由:NVIDIA 在 GTC 2025 一次性开源世界模型、数据集与人形机器人基础模型,读者可据此了解物理 AI 开发可用的工具链。

3月11日周二
  1. Hugging Face Blog75

    LeRobot 与 Yaak 发布 L2D:全球最大开源自动驾驶数据集

    Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D(Learning to Drive),称其为全球最大的开源自动驾驶数据集,包含 90+ TB 多模态数据、5000+ 小时驾驶记录,来自德国 30 座城市的 60 辆驾校车辆。

    推荐理由:L2D 以 90TB 多模态驾驶数据和 LeRobot 训练管线开放,读者可据此判断端到端自动驾驶数据集的规模与可用性。

2月11日周二
  1. Hugging Face Blog62

    Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,在 512 张 H100 上用 vLLM 和 SGLang 本地生成 80 万条 R1 推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 过滤后保留 22 万道题。

    推荐理由:Open R1 项目公开了 220k 数学推理数据集的构建流程与本地生成方案,读者可据此复现或迁移到其他领域。

2月2日周日
1月28日周二
  1. Hugging Face Blog62

    Hugging Face 发起 Open-R1 项目,完整复现 DeepSeek-R1

    Hugging Face 发起 Open-R1 项目,计划系统重建 DeepSeek-R1 的数据与训练流程。DeepSeek 虽开放了模型权重,但未公开训练数据集和代码,Open-R1 将分三步复现:蒸馏高质量推理数据集复现 R1-Distill 模型、复现 R1-Zero 的纯 RL 流程、展示从 base model 到 SFT 再到 RL 的多阶段训练。

    推荐理由:Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划,读者可了解开源推理模型补全路径。

1月15日周三
12月24日周二
12月17日周二
  1. OpenAI News78

    OpenAI 发布 o1 模型及多项开发者工具更新

    OpenAI 发布 o1 模型,并同步带来 Realtime API 改进、新的微调方法等面向开发者的更新。官方称此次更新面向开发者,涵盖模型与工具两方面。

    推荐理由:OpenAI 官方一次性公布 o1 模型与 Realtime API、微调方法等开发者工具更新,可据此了解其开发者侧能力布局。