零阶优化 10 天提速 4000 倍：无反向传播预训练仅需 1.6 秒
SonglinYang4 · x · 2026-10-30
Zero-order 优化方向迎来爆发月：Noise speedrun 发布 10 天内，transformer 预训练时间从 1.76 小时降到 1.6 秒（4000 倍加速），最新纪录为单节点 8xH100 上 22.7 秒内在 FineWeb-30M 达到 3.5 val loss（此前纪录 123 秒）。
提速关键节点：
- 116s：Cong 的 PR #51，identity-path 阶段加配对 MLP roots
- 38.9s（×3）：改用更少的单 root——配对 root 引入噪声，block 0 的信用被证实约 100% 是估计器噪声；配合 Hopper TMA/wgmma 的 Gluon 内核与融合 query replay
- 29.4s（×4）：融合链尾部——64-move tile 常驻共享内存，attention replay、MLP 和 readout 在单内核完成，避免每 block 1GB HBM 往返；bf16 梯度集合通信与优化器计算重叠
作者强调：无反向传播不仅能预训练 transformer，效率还远超预期；但 scaling 是最大开放问题，部分技巧无法扩展，计划从 30M token 起逐步扩大数据集验证。
「Infra」频道最新
- Sam Altman 称本地推理是糟糕的资源配置，引来「你的车也不该归出租车公司」反驳 — TheZachMueller · 2026-10-30
- DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23% — burny_tech · 2026-10-30
- 三大厂季度自由现金流从 607 亿骤降至 74 亿,资本开支翻倍吞噬利润 — JFPuget · 2026-10-30
- 90年代 SGI 工作站要 10 万美元一台,今天 Mac Studio 便宜太多了 — dreamwieber · 2026-10-30
- Amazon 资深科学家谈 AI 落地:单位经济学优先,开源仅落后数月 — arena · 2026-10-30
- Intel 预告 2027 资本开支超预期:明年恐无正自由现金流 — BenBajarin · 2026-10-30