Kimi K3 登陆 8×AMD MI355X,TokenSpeed 创推理速度新纪录
TokenSpeed 团队在 8 张 AMD Instinct MI355X GPU 上实现了 Kimi K3 模型的 SOTA 推理性能,单用户输出速度达到 216 token/s(C1 精度),刷新了该模型在 AMD 平台上的速度纪录,解码速度比此前 ATOM 方案快 1.4 倍。这一成果展示了 AMD GPU 在大模型推理领域的竞争力,也为非英伟达硬件上的高性能推理部署提供了新范例。
2026-10-10 ~ 2026-10-10 · 2 条相关
- TokenSpeed 刷新 Kimi K3 在 AMD 上的速度纪录:比 ATOM 快 1.4 倍 — zhyncs42 · 2026-10-10
- Kimi K3 推理跑上 8×AMD MI355X,单用户输出 216 tok/s — zhyncs42 · 2026-10-10