B200 上 116 SM 训练 162M GPT 实测:Megatron+CUDA graphs 43.1s 最快
akbirthko · x · 2026-11-03
realarnoldxu 公布在 B200 上用 116 个 SM 训练 162M 参数 GPT 4000 步的内核基准对比(各基线单独跑在同一 116 SM 上,相同数据/初始权重/batch 顺序,final loss 2.1575):
- Megatron + TE + CUDA graphs:43.1s(最快)
- open-flapping-airplanes 自研 tcgen05 内核:48.1s(其对比内核 46.1s)
- PyTorch + flash-attn graph:50.9s;eager:52.5s
- Megatron + TE eager:62.4s(他们的方案慢 34%,自研方案慢 23%)
结论:CUDA graphs 带来的加速超过自定义内核的收益,自研内核即便击败了对方内核,仍跑不过开 CUDA graphs 的 Megatron 基线。
「Infra」频道最新
- 从 CPU 到 GPU 到推理服务：一个故事讲透 LLM 推理基础设施全链路 — _jaydeepkarale · 2026-11-04
- 4 张 RTX 3090 组出 FrankenSTEAM 主机，实测跑 Qwen 大模型 — Civil_Fee_7862 · 2026-11-04
- LlamaIndex 将文档解析模型 OCRia-1 在单张 B200 上提速 10 倍至 2800 tok/s — llama_index · 2026-11-04
- 编码智能体让投机解码提速超一倍，DFlash2 达 10.87× — berkeley_ai · 2026-11-04
- 无 Dockerfile 扩展 Python 到 3200 文件：Metaflow 实战复盘 — anacondainc · 2026-11-04
- 企业 AI 支出一年暴涨至 1770 亿美元，Anthropic 占 API 份额 55% — deedydas · 2026-11-04