AMD MI355X 跑 Kimi K3 吞吐达 952 tok/s

Wafer.ai 工程团队（成员 @gpusteve 等）在单台 AMD MI355X 服务器上完成了 Kimi K3 模型的推理部署。实测数据显示，该方案实现了 952 tok/s 的单节点聚合吞吐量和 118 tok/s 的单流解码速度，且相比 NVIDIA B200 节点成本大幅降低 71%。这表明在超大模型推理场景下，MI355X 凭借显存优势已具备明显的性价比竞争力。

已确认

• Kimi K3 参数量达 2.8T，推理需要超过 1.5TB 显存，单个 B200 节点无法容纳，而 MI355X 凭借显存容量优势实现了单节点部署。
• MI355X 单节点实测成绩：聚合吞吐量达 952 tok/s，单流解码速度达 118 tok/s。
• 与 B200 的竞品对比：聚合吞吐提升 3.8 倍，单流解码提升 1.3 倍；每美元性能约 48 tok/s，单节点成本降低 71%。

尚未确认

• 上述性能与成本数据目前均源自 Wafer.ai 团队的自家评测，尚无独立第三方机构的复现验证；该方案在真实生产负载、不同批次长度与高并发环境下的长期稳定性表现仍待观察。

为什么重要

• 显存容量成为 AMD 芯片在此类场景中的关键优势，显示其在高显存需求的超大模型推理部署中已具备强劲竞争力。
• 单节点即可完整承载 Kimi K3 这类 2.8T 超大模型，大幅降低了企业的部署门槛与算力成本。

2026-08-02 ~ 2026-08-04 · 6 条相关

• AMD MI355X 跑 Kimi K3 吞吐量达 952 tok/s，性能美元比碾压 B200 — AnushElangovan · 2026-08-02
• 【源头】AMD MI355X跑Kimi K3达952 tok/s/节点，性能超B200 — AnushElangovan · 2026-08-02
• Wafer 用 AMD MI355X 服务 Kimi K3，吞吐提升 3.8 倍、成本降 71% — SumitGup · 2026-08-03
• 单节点吞吐量达 952 tok/s，AMD MI355X 跑赢英伟达 B200 — adrianscottcom · 2026-08-03
• AMD MI355X 跑 Kimi K3：吞吐量达 B200 的 3.8 倍，成本降 71% — SumitGup · 2026-08-04
• Kimi K3 跑进 AMD MI355X，节点吞吐达到 952 tok/s — AccBalanced · 2026-08-04