AMD、英伟达、谷歌三天内密集为 vLLM 提交优化，MI355X 每 1 美元多跑 87% token

woosuk_k · x · 2026-10-19

过去三天，AMD、NVIDIA 和 Google 相继为 vLLM 项目贡献了显著性能优化，均以 SemiAnalysis 的 InferenceX 标准基准在 Kimi K3（2.8T）上度量，inferact 团队主导并推动了大部分优化。

配图为 SemiAnalysis 推理基准曲线：- MI355X（vLLM）在相同交互性下比 B300 每 1 美元 TCO 多产出约 87.4% 的 token；- NVIDIA GB300 NV72 + Dynamo vLLM 在 2.8T 模型上达到 423 tok/s/user 的 P90 交互性，Megakernel 带来 1.68 倍加速（10 月 18 日较 9 月 15 日曲线明显改善）；- Google TPUv7 也上线了 Kimi K3 的官方预览结果，与 B200/B300/GB200 等曲线同图对比。