FineWeb-30M 再破纪录:单节点 8xH100 上 14.2 秒跑出 3.50 验证损失
RobertTLange · x · 2026-11-05
RobertTLange 在 qlabs-eng/noise 仓库提交 PR #56,把 FineWeb-30M Track 2 speedrun 纪录从 15.9 秒压缩到 14.24 秒(seed 0,单台 8xH100 节点),最终验证损失 3.4965,比前纪录快 ×1.12,较自家早前的 22.9 秒纪录累计提速 ×1.64。
迭代路径的关键手段:
- 22.7s:重跑 #52,先走 identity-path 阶段,再在 block 4/6 单根 Cut,融合链式 kernel,每个估计一张 CUDA graph;
- 19.9s:16 行更新,从 10% Cut 起每块 GPU 原生估计两行;
- 14.2s(最终):每两次更新提前设 root 4、tensor-core 与 Gluon credit kernel、逐头 q/k polar 分解,以及带调度的 update tail。Identity 阶段 1.18s,末尾 merge 0.15s,命令为默认 uv run torchrun --standalone --nprocpernode=8 train/speedrun/run.py。
所属事件:FineWeb-30M 训练速度刷新纪录，8xH100 单节点 14.2 秒(2 条相关)→
「Infra」频道最新
- Meta 高管：中期选举后在美国新建数据中心将非常困难 — ShakeelHashim · 2026-11-05
- 外行疯抢 5000 万美元 B300 集群：没机房没电力就下单 — andersonbcdefg · 2026-11-05
- RTX 3060 本地跑通语音智能体组合，老玩家直呼第一次感到魔法 — 1or4s · 2026-11-05
- NASA 宣布首次实现飞机与地面间量子通信链路 — Polymarket · 2026-11-05
- 8.8GB 装下 150 万篇文章：断网也能用的离线生存 AI 走红 GitHub — mhdfaran · 2026-11-05
- LZ4：C 语言编写的极速压缩算法，GitHub 1.2 万星老牌项目 — lz4 · 2026-11-05