nanoGPT 式速度纪录再破：30M 训练从 499 秒压到 22.9 秒
RobertTLange · x · 2026-10-29
qlabs-eng/noise 仓库的 Track 2（30M 参数）速度纪录被 PR #52 大幅刷新：单节点 8×H100、seed 0，跑出 3.4976 验证损失仅用 22.89 秒——比此前纪录（3.4988 / 499.6 秒）快 21.8 倍，比其基础上的 PR #51（123.2 秒）快 5.4 倍。
优化手段包括：
- 沿用 #51 的 identity phase（1.87 秒）+ 端部 merge（0.14 秒）
- Cut with two single roots 的结构改动
- 融合的 Gluon chain kernel 与 bf16 集合通信重叠
- 运行间验证损失波动约 ±0.0015，与达标余量相当
「Infra」频道最新
- 消费级 GPU 价格再引社区吐槽:本地部署玩家成本压力持续走高 — panchovix · 2026-10-29
- 确定性训练代价被夸大：做好只损失个位数百分比 — gandamu_ml · 2026-10-29
- Kimi K3.1 Pro：2.8 万亿参数开源承诺，权重却迟迟未放 — alex_verem · 2026-10-29
- 「我的未来：一栋小房子和一个巨型数据中心」 — XFreeze · 2026-10-29
- Decagon 构建自动研究循环，为每个推理端点定制优化方案 — blelbach · 2026-10-29
- 数据中心自建燃气电厂地图上线，四座紧邻达拉斯臭氧超标区 — AINowInstitute · 2026-10-29