DDP 精确断点恢复失败复盘：原子加、autotune 与桶布局三重坑
ReinforcedKnowledge · reddit · 2026-08-28
作者在 open-Instruct 框架上用 4×A100 做 Qwen3.5-0.8B 的 DDP 训练，验证「checkpoint 后精确恢复」是否能与连续训练完全一致(连续跑 10 步 vs 第 5 步存档恢复再跑 5 步)。尽管 RNG、优化器、数据流等全部状态逐项核对一致，训练结果仍有差异。
逐层排查后发现三处元凶：
- causal-conv1d 反向传播默认用无序 CUDA atomics 累积梯度，引入非确定性；
- Triton autotune 决策是进程本地的，且与共享磁盘缓存交互，恢复前后可能选不同 kernel;修复方式为让卷积反向确定化、冻结各 rank 的 autotune 记录；
- 最隐蔽的一处：前两者修掉后，320 个梯度里仍有 261 个 post-reduce 梯度不一致，原因是 DDP reducer 的桶布局不同——连续训练已重建到 61 个桶，而恢复进程新建的 reducer 还是最初的单桶布局，而「梯度就绪顺序历史与桶重建状态」根本不在训练 checkpoint 里。
最终解法：恢复时先用一次确定性的合成全图 backward 初始化 reducer、显式重建桶、清空梯度并还原所有受保护状态，再喂真实数据。作者提醒这类精确一致只在少数需要严格可复现的场景有意义。
「Infra」频道最新
- 谷歌云推 Cloud Run 实例，5.7 美元/月运行长时 Agent — IanAndrewsDC · 2026-08-28
- Lambda 获 9.26 亿美元投资级贷款，用于 GPU 部署 — TheZachMueller · 2026-08-28
- 英美算力基建对比：英国受电网制约，美国协同建设 — NinaDSchick · 2026-08-28
- 推理两小时成本估算：Claude 或耗资 1382 万美元 — GregKamradt · 2026-08-28
- 量子计算公司 QuEra 公布 Anthropic 硬件标准研究成果 — Hidenori8Tanaka · 2026-08-28
- 本地 Agent 新趋势：JetBrains 与 Perplexity 的端侧实践 — ycombinator · 2026-08-28