独立研究者单块 GH200 预训练 21B MoE：MFU 从 21% 提到 50%
Prestigious-Taste-63 · reddit · 2026-10-12
一位独立研究者因预算受限，把原计划跑在 64 块 H100 上的 21B MoE（总参 20.99B、激活 3.36B，30 层，64 选 4 专家）预训练迁到单块 GH200（每小时 2.29 美元），并将全程测得的优化指标整理成论文公开。
关键结果：
- 基准 MFU 从 21.1% 提升到 50.7%（13 个测量点）
- 真实训练 MFU 从 36.5% 到 48.9–49.1%（10.9B tokens；自 4B tokens 起两台 GH200 通过 DiLoCo 连接），含同步时间约 47.6–47.8%
- 238.5 GiB 的 FP32 训练数据全部放 CPU 内存，GPU 优化器内核经 NVLink-C2C 直接更新；GPU 功耗被云厂商限到 700W
踩坑记录：Transformer Engine FP8/行级 FP8 让 GEMM 变快但量化内核更慢；激活全卸载到 CPU 的分区方案；CPU 加法速度在相同设置下波动 22%–32%，最终用 C++ OpenMP 内核解决。
局限：只测了一种模型和一种硬件、各阶段指标混用代码版本非干净消融、未验证 FP8 对质量的影响、仅覆盖第一阶段约 11B tokens。代码、基准记录与训练日志已在 GitHub 开源，论文发布于 Zenodo。
「Infra」频道最新
- 加一台分片就全乱？Redis 用 16K 固定哈希槽解决扩容难题 — Franc0Fernand0 · 2026-10-12
- MTP 反而更慢?8GB 显卡跑 9B 模型实测吞吐减半引讨论 — Aggravating-Push-207 · 2026-10-12
- 把数据中心送上太空：StarCloud 验证 AI 算力可在轨道运行 — DavidLinthicum · 2026-10-12
- ResidualQuant 压缩 KV cache,解码吞吐最高提升 4.15 倍 — sehoonkim418 · 2026-10-12
- 利用循环间 KV 状态相似性做低比特量化，破解循环模型显存瓶颈 — sehoonkim418 · 2026-10-12
- Looped Transformer 的 KV 缓存困境：ResidualQuant 用 2-bit 残差省 80% 显存 — sehoonkim418 · 2026-10-12