DeepInfer MegaMoE 实测：H200 单卡推理吞吐较基线提升 4 倍
michellechen · x · 2026-11-01
michellechen 与 Kevin 的一则轻松互动，核心信息在配图的基准测试图里：在 8x H200 上运行 DeepSeek V4.1 Flash 1017 模型，对比了三种推理方案的吞吐-延迟曲线——自研 DEP8 MegaMoE、开源 DEP8（DeepInfer）与 DeepInfer 之前 的基线。
关键数据：
- 在每请求 100 TPS（p50）的延迟水平下，MegaMoE 方案的单卡吞吐约为基线的 4 倍（约 2400 vs 约 600 Total TPS/GPU）
- DEP8 MegaMoE 峰值可达约 4900 Total TPS/GPU，同时保持较高 per-request TPS
- 开源版 DeepInfer 也已显著优于基线，但自研 MegaMoE 在中低延迟区间优势明显
这条曲线对做 LLM 推理部署的团队有直接参考价值：MoE 专家并行的深度优化能在交互级延迟下大幅压低成本。
「Fun」频道最新
- 假 arXiv 论文梗：GPT-5.6 无提示复现平等主义证明 — teortaxesTex · 2026-11-01
- 「向普通人解释 AI 圈现状」梗图:如临《降临》现场 — dejavucoder · 2026-11-01
- BooBench:用「吓出复读机」的方式测崩 LLM 与 OCR 工具 — xennygrimmato_ · 2026-11-01
- 六张 RTX 3090 加 256GB 内存，玩梗宣示本地模型 independence — gklambauer · 2026-11-01
- TinyHand：给 Mac 加一只会指东西的开源小手 — SuB8u · 2026-11-01
- three.js 按 metaballs 等值线生成线条，重现 Inktober 创作回顾 — thespite · 2026-11-01