Kimi K3 登陆 8×AMD MI355X,TokenSpeed 创推理速度新纪录

TokenSpeed 团队在 8 张 AMD Instinct MI355X GPU 上实现了 Kimi K3 模型的 SOTA 推理性能,单用户输出速度达到 216 token/s(C1 精度),刷新了该模型在 AMD 平台上的速度纪录,解码速度比此前 ATOM 方案快 1.4 倍。这一成果展示了 AMD GPU 在大模型推理领域的竞争力,也为非英伟达硬件上的高性能推理部署提供了新范例。

2026-10-10 ~ 2026-10-10 · 2 条相关