SemiAnalysis 的 vLLM 提速对比被质疑：TP16 对 TP8 基线

JiaZhihao · x · 2026-10-18

SemiAnalysis 此前宣称 NVIDIA 通过新的上游 vLLM 优化，在 2.8T 参数的 Kimi K3 上实现每用户 423 tok/s，同硬件提速 1.68x：由 NVIDIA CentML 的 Benjamin 用 Cute DSL 编写解码专用 kernel，通过激进的 Megakernel 融合实现，是一段 12000 行代码的 Megakernel，被称为 AI 辅助 kernel 生成方向的代表，NVIDIA 还在为 DeepSeek v4.1 等模型做类似工作。但 JiaZhihao 质疑：若图中标注无误，提速方案用的是 TP16，基线是 TP8，等于用 2 倍 GPU 资源换取提速，同 TP 配置对比才更有意义。