Google DeepMind·· 2026-04-22精选AI 评分62
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Decoupled DiLoCo: A new frontier for resilient, distributed AI training
AI 导读
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，把大规模训练拆成异步通信的计算孤岛，降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入，用 Gemma 4 模型验证的 ML 性能与传统训练方法持平。
推荐理由
原文给出异步训练在带宽、故障隔离和跨代硬件上的实测结果，可据此判断分布式预训练的成本与容错边界。
来源：Google DeepMind · deepmind.google