DeepSpeed 修复 ZeRO-2 精度 bug，用户应升级到 0.19.8 以上
StasBekman · x · 2026-10-30
DeepSpeed 维护者 Stas Bekman 发布 PSA：使用 ZeRO-2 的用户应升级到 deepspeed>=0.19.8。
- Bug 内容：当 bf16 模型配置 gradaccumdtype: fp32 且梯度累积步数（GAS）>1 时，ZeRO-2 仍可能用 bf16 存储归约后的梯度分区，导致通信后的 fp32 精度被舍入丢失，违背 fp32 累积设置的初衷。
- 修复效果：ZeRO-1/2 在 fp32 累积设置下改用 fp32 分区存储；同时每参数节省 2 字节。配图基准测试显示，1B 参数 bf16 模型在 2 张 H200 上 peak reserved 显存减少约 2048 MiB，可容纳更大模型或更长序列。
- 相关修复已合并至 DeepSpeed 主干（PR #8749）。
「Infra」频道最新
- Nscale 未经验证的 CEO 押注 300 亿美元 IPO,闯荡 AI 算力动荡期 — dinabass · 2026-10-30
- Crusoe 以 310 亿美元估值融资：从油田烧气挖矿到 AI 数据中心 — nathanbenaich · 2026-10-30
- AWS 年化营收达 1840 亿美元,同比增长 39.3% — RihardJarc · 2026-10-30
- 美国数据中心与计算机投资超住房建设 50%，成第一大投资类别 — HaydnBelfield · 2026-10-30
- SanDisk 高带宽闪存 HBF:单 GPU 3TB、多 TB 读取,为何无人关注 — Zombiecidialfreak · 2026-10-30
- 内存搬运比计算贵 100 倍，本地推理为何低效的一课 — cis_female · 2026-10-30