跳到正文

#数据/训练

今日 2 条
3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。该产品以 Agent 优先设计,Mistral Vibe 等自主智能体可用它微调模型、寻找最优超参数、调度任务并生成合成数据。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型的落地路径。

3月17日周二
3月13日周五
3月12日周四
  1. Google Research62

    Google 推出 Groundsource,用 Gemini 把新闻报道转为灾害数据

    Google 推出 Groundsource,一套用 Gemini 从非结构化新闻中提取历史灾害数据的方法,并发布首个开放数据集:覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录。

    推荐理由:Google 用 Gemini 把 80 种语言的新闻报道转成结构化灾害数据,并给出人工核验的准确率,可据此判断这套方法能否迁移到其他数据稀缺领域。

3月10日周二
  1. Hugging Face Blog62

    Hugging Face 综述 16 个开源异步 RL 训练库

    Hugging Face 发布对 16 个开源异步强化学习训练库的调研,按编排原语、rollout 缓冲设计、权重同步协议、陈旧度管理、部分 rollout 处理、LoRA 支持和分布式训练后端七个维度进行对比。

    推荐理由:基于 16 个开源库的横向对比,梳理异步 RL 训练在编排、权重同步与陈旧度管理上的七类设计取舍。

3月9日周一
  1. Hugging Face Blog62

    Ulysses 序列并行:如何用百万 token 上下文训练模型

    Hugging Face 发布教程,介绍 Snowflake AI Research 的 Ulysses 序列并行(ALST 协议的一部分)如何通过注意力头切分把长序列训练分散到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:文章给出 Ulysses 序列并行在 Hugging Face 各组件中的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月7日周六
  1. Google Research62

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的开放语音数据集

    Google Research 发布 WAXAL,一个面向撒哈拉以南非洲 27 种语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。其中 WAXAL-ASR 包含约 1,846 小时转写自然语音,WAXAL-TTS 包含超过 565 小时高保真录音,数据采集由非洲高校与社区组织主导,覆盖 100 多万使用者。该数据集旨在支持低资源语言的语音识别与合成系统开发,并计划持续扩充语言种类。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,读者可了解低资源语言语音数据的采集方法与规模。

3月5日周四
3月4日周三
2月26日周四
2月18日周三
2月17日周二
2月13日周五
2月10日周二
2月6日周五
2月4日周三
  1. Google Research26

    Google Research 提出 Sequential Attention:让 AI 模型更精简更快且不牺牲准确率

    Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件加入模型,避免传统贪心算法带来的数量级训练开销。该方法把子集选择直接嵌入模型训练,可处理大规模 ML 模型,并在多个神经网络基准上取得 SOTA,同时支持特征选择、嵌入维度调整与权重剪枝。

2月3日周二
1月29日周四
1月28日周三
1月27日周二
1月24日周六
1月20日周二
  1. Hugging Face Blog62

    微软发布 Differential Transformer V2,去掉自定义注意力核并降低训练不稳定

    微软 unilm 团队发布 Differential Transformer V2(DIFF V2),通过增加 query 头但保持 KV 头数量不变,使解码速度与标准 Transformer 持平,且不再需要自定义注意力核。

    推荐理由:微软团队给出 DIFF V2 的注意力实现与消融对比,读者可据此判断差分注意力在解码速度与训练稳定性上的取舍。

1月16日周五
  1. Google Research40

    Google 研究:用 Pixel Watch 智能手表估算步态指标,精度媲美手机

    Google 研究团队提出基于时序卷积网络(TCN)的多头深度学习模型,仅凭单只 Pixel Watch 的 IMU 信号和用户身高,即可直接估算步速、步长、摆动时间、支撑时间等多项步态指标。在 246 名参与者、约 7 万个步行片段的大规模验证中,手表估算在多数指标上达到 Pearson r >0.80、ICC >0.80,与 Pixel 6 手机估算无显著差异(p >0.05)。

1月14日周三
1月13日周二
  1. Google Research61

    NeuralGCM 借助 AI 改进全球长期降水模拟

    Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接以 NASA 2001 至 2018 年卫星降水观测训练其机器学习部分,而非依赖再分析数据。

    推荐理由:NeuralGCM 改用卫星降水观测训练后,在 15 天预报和数十年气候模拟上均优于传统模型,可看混合建模路线的新进展。

1月10日周六
  1. Berkeley AI Research32

    伯克利 AI 研究:用信息量直接评估与优化成像系统

    伯克利 AI 研究团队提出一套基于互信息的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化测量对物体的区分能力,无需重建算法或任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微成像四个领域均能预测下游解码性能,优化后的设计可媲美 SOTA 端到端方法,且内存和算力需求更低。相关成果发表于 NeurIPS 2025 论文。

1月5日周一
12月19日周五
12月18日周四
12月17日周三
12月16日周二
12月11日周四
  1. Hugging Face Blog62

    Hugging Face 教程:用 Codex 和 HF Skills 端到端微调开源模型

    Hugging Face 发布教程,展示如何让 OpenAI Codex 借助 Hugging Face Skills 仓库完成端到端机器学习实验:验证数据集格式、选择硬件、生成并更新训练脚本、提交 Hugging Face Jobs、监控 Trackio 指标、评估 checkpoint 并生成训练报告。

    推荐理由:原文给出 Codex 结合 HF Skills 完成端到端微调的完整流程与成本区间,可据此判断能否把训练实验交给编码智能体。

12月10日周三
12月9日周二
12月5日周五
  1. Google DeepMind38

    科学家用 AlphaFold 改造光合作用关键酶,培育耐热作物

    密歇根州立大学团队借助 AlphaFold 预测植物与嗜热藻类中光合作用关键酶 GLYK 的 3D 结构,发现植物版 GLYK 的三个柔性环在高温下会变形失稳。研究人员据此用藻类 GLYK 的刚性环替换植物中的不稳定环,构建出杂合酶,其中一个在高达 65 °C 下仍保持稳定,为培育耐热作物铺路。