DeepSpeed 修复 ZeRO-1/2 梯度跨请求丢失 bug,建议升级到 0.19.9+
StasBekman · x · 2026-11-04
Stas Bekman(DeepSpeed 维护者)宣布合并 PR #8949,修复 ZeRO-1/2 的又一个正确性问题,由 Sean Bell 发现并修复,用户应升级到 deepspeed>=0.19.9。
- 根因:梯度累积边界不一定等于优化器 step。调用方可以在多个请求上设置 setgradientaccumulationboundary(True) 而延迟 engine.step() 到所有请求都贡献完梯度;此前非 offload 路径会在每个边界清空 allgradtensors,导致提前丢弃尚未 step 的梯度,还可能把上一次更新的旧梯度带进下一次更新。
- 修复:deepspeed/runtime/zero/stage1and2.py 中非 offload 与 CPU offload 两条优化器路径都在 step 前保留各请求累积的梯度,不改配置默认值、无需应用侧 workaround。
- 作者同时感慨:这些 bug 存在多年,为何直到现在才陆续被发现。
「Infra」频道最新
- 传 Intel 将停产 Arc B580,转产利润更高的 Arc Pro 卡,B70 或将涨价 — chemist_slime · 2026-11-04
- 前微软 Spark 产品负责人入职 Databricks，详解 Lakehouse 架构优势 — adnan_hashmi · 2026-11-04
- 奥尔特曼澄清内存言论：我一直主张全球大幅扩产内存 — sama · 2026-11-04
- 中美算力困境对照：美国缺数据中心，中国缺先进芯片 — zijing_wu · 2026-11-04
- 美国 30 项数据中心限制公投 29:1 压倒性领先 — 4KTV · 2026-11-04
- Grok Bot 限流真相:马斯克要把 SpaceX 变 neocloud,算力 $15/时 vs 成本 $4/时 — AccBalanced · 2026-11-04