8 卡 AMD MI355X 跑 Kimi K3 吞吐超 B300 24.4%，每美元 token 多 87%
vllm_project · x · 2026-10-17
vLLM 团队发布长文，详解在 AMD Instinct MI355X 上部署 Kimi K3 的推理优化。在 SemiAnalysis AgentX agentic coding 基准、50 tok/s/用户交互性下，8×MI355X 单卡吞吐达 7,567 tok/s，比 NVIDIA HGX B300 的 6,083 高出 24.4%；按基准的成本模型计算，每美元产出的 token 多 87.4%。
文中的关键优化手段：
- 缓存复用：保留会话状态供重复使用
- MoE：消除 GPU 间重复计算
- 访存：算子融合、去掉不必要的拷贝
- MLA：用 AMD AITER 汇编加速长上下文解码
- KDA：并行化 prefill 与投机验证
- 投机解码：调整 draft token 数量
文章还讲解了定位瓶颈的方法，帮助读者优化自己的推理栈。AMD 能追平 NVIDIA 每卡吞吐，对算力采购经济性是重要信号。
所属事件:AMD MI355X 跑 Kimi K3 推理吞吐超 B300 24%(2 条相关)→
「Infra」频道最新
- 德州电网排队暴涨至474GW，白皮书称数据中心应成为电网资源 — espricewright · 2026-10-17
- Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音 — StasBekman · 2026-10-17
- DatologyAI：数据策展可再挖 1000 倍算力效率空间 — josh_wills · 2026-10-17
- Supabase 发布 Middleware 库：一次编写请求逻辑，任意 fetch 运行时复用 — dshukertjr · 2026-10-17
- 开发者求沙箱方案：N 子沙箱并发写盘、父沙箱动态挂载读 — zeeg · 2026-10-17
- 两块 H200 跑 Nemotron 120B：Litespark 推理达每秒 962 token — NVIDIAAI · 2026-10-17