单机 8x 5090 实现 167k tokens/s 训练吞吐，超越 DDP 基线
jon_durbin · x · 2026-07-30
作者展示了在单台搭载 8 张 5090 显卡的机器上，使用 Parallax 框架进行测试时实现了高达 167k tokens/s 的训练吞吐量（基于 50亿参数总/10亿激活参数的 MoE 测试模型）。
关键性能与优化指标：
- 高 MFU：在 BF16 精度下，算力利用率（MFU）等效达到约 60%。
- 更优的损失曲线：在匹配相同步数的情况下，击败了 DDP（分布式数据并行）基线。
- 高效收敛：在处理约 190 亿 tokens（Llama-3 分词器）时达到 3.068 nats，相比 DDP 基线，达到相同 token 预算时速度快 15%，成本低 64%。
作者推测这种性能优势主要归功于为专家网络使用了独立的 Muon 优化器，结合了替代反馈与折叠归一化等技术。目前正准备进行更大规模的训练运行。
所属事件:单机8x5090实现167k tokens/s训练吞吐(2 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16