单机架 64 卡 MFU 提至 31.1%,marin 社区开源训练优化细节

dlwh · x · 2026-10-04

marin 社区开发者 mcwitt 提交 PR，把 GB200 NVL72 单机架(64 GPU)上 moeheroep 训练步时长从 13.90 秒缩至 12.61 秒，MFU 从 28.24% 提升至 31.13%，loss 变化在噪声范围内。最后一个 commit 引入 PGLE profile builder，基于程序自身 trace 构建 profile 后步时长进一步降至 12.52 秒(MFU 31.37%)。优化来自两条工作线：一是逐个拆解训练步中开销最大的 scope；二是将 OLMo-core 3 的 BF16 MoE kernel 与当前路径做基准对比，保留有效收益。测试方法为从 checkpoint step 180000 恢复、固定 seed 跑 100 步取中位数。