跳到正文

#数据/训练

今日 0 条
10月1日周四
4月27日周一
4月22日周三
  1. Google DeepMind40

    Google DeepMind 提出 Decoupled DiLoCo:实现低带宽分布式 AI 训练

    Google DeepMind 推出 Decoupled DiLoCo 架构,支持在低带宽下跨数据中心进行弹性分布式 LLM 训练。该方案基于 Pathways 和 DiLoCo,通过异步计算隔离硬件故障影响,并在 Gemma 4 模型测试中保持同等 ML 性能。实验显示,使用 2-5 Gbps 网络训练 12B 参数模型的速度比传统同步方法快 20 倍以上,且兼容不同代际 TPU 混合训练。