AMD、英伟达、谷歌密集优化 vLLM 推理性能

过去三天,AMD、NVIDIA 和 Google 三家芯片/云厂商相继向开源推理框架 vLLM 贡献了显著性能优化,并以 SemiAnalysis 的 InferenceX 标准基准在 Kimi K3 模型上验证,K3 基准成绩三日连涨。其中 AMD 的优化使 MI355X 每 1 美元可多跑 87% 的 token,显示大厂在推理效率上的激烈竞争。

2026-10-19 ~ 2026-10-19 · 2 条相关