Kimi K3 推理跑上 8×AMD MI355X,单用户输出 216 tok/s
zhyncs42 · x · 2026-10-10
团队用 TokenSpeed 在 8 张 AMD MI355X GPU 上实现了 Kimi K3 的 SOTA 推理:单用户输出速度 216 tok/s(C1 精度),达到 ATOM 的 1.4 倍,同时使用更高精度。
技术深潜文章覆盖了多层优化:
- KDA、MLA、AttnRes、LatentMoE 等模型结构的推理优化
- 多 GPU 通信优化
- 基于可移植的 Triton 构建,再用 agent 辅助生成 Gluon 专用内核
所属事件:Kimi K3 登陆 8×AMD MI355X，TokenSpeed 创推理速度新纪录(2 条相关)→
「Infra」频道最新
- Joseph Jacks:模拟神经网络会巨大成功,大脑早已如此 — JosephJacks_ · 2026-10-10
- Baseten 携手 Goodfire 推 Project Beacon,开源模型默认带安全监控 — baseten · 2026-10-10
- The Information:Nvidia 拟投资芯片对手 d-Matrix,收编挑战者 — pstAsiatech · 2026-10-10
- Prime Agent 调度 2000 个智能体用 Rust 重写自身,输入提速 13 倍 — xeophon · 2026-10-10
- Nathan Lambert：AI 将快速进步，但不会通向全面超级智能 — Interconnects (Nathan Lambert) · 2026-10-10
- Tinker 宣布最高降价 70%,GLM-5.3-Flash 与 DeepSeek-v4.1-Flash 上线 — soumithchintala · 2026-10-10