FineWeb-30M 训练提速至 14.2 秒，单节点 8xH100 再破纪录
RobertTLange · x · 2026-11-05
Robert Tjarko Lange 团队再度刷新 zero-order FineWeb-30M 训练 speedrun 纪录：在单台 8xH100 节点上于 14.2 秒内达到 3.5 验证 loss，较此前 22.9 秒的纪录提速 1.64 倍。
关键优化步骤：
- 22.7s：#52 复跑，identity-path 阶段 + 在第 4/6 块设单 root 的 Cut，融合 chain kernels，每次估计一个 CUDA graph
- 19.9s（×1.14）：16 行更新，每 GPU 单 graph 原生估计两行，每 16 行一次梯度交换与优化器步进；末端 merge 变为运行内 per-part 拟合
- 17.4s（×1.3）：chain kernels 迁移到 tensor cores（wgmma），加入 Gluon FA3 风格 kernels，weight credits 用 bf16，root 4 早期隔次更新运行
- 14.2s（×1.63）：系统层收尾——逐位等价的剪枝 top-k、gathered value tables（16MB 取代 268MB）、RoPE 旋转 keys、bf16 重计算、rank-major ANVIL 重叠 graphs 等，单 Cut 行耗时从 1.76ms 降到 1.07ms
一条失败教训：更便宜的 root 估计（token 子集、控制变量、重要性采样）全部落败——偏差的代价高于噪声，且训练后期的噪声比离线梯度检查预估的更伤。Forward-only credit 在训练末期最需要完整信号。
所属事件:FineWeb-30M 训练速度刷新纪录，8xH100 单节点 14.2 秒(2 条相关)→
「Infra」频道最新
- 流量腰斩、Supabase 账单涨 300%、Vercel 涨 400%，开发者直呼离谱 — DanielLockyer · 2026-11-05
- Flexera 报告估 29% 云支出被浪费，CostGraph 想把管成本做成基础设施产品 — saheedniyi_02 · 2026-11-05
- 本地跑 Qwen3 8B 想扩到 128GB 内存：老平台 DDR4 换条值不值 — thatscoolbutno123 · 2026-11-05
- 苹果 Core AI Models 仓库开放第三方贡献，2.2k 星端侧 AI 工具链 — pcuenq · 2026-11-05
- 四大巨头今年资本开支至少 7200 亿美元，AI 基建竞赛无人踩刹车 — The Verge AI · 2026-11-05
- oMLX 新版让第二台 Mac 加速 prefill 最高 2.9 倍 — pcuenq · 2026-11-05