Kimi K3.1 Pro 在 8 卡 MI350X 跑出 300 tok/s,较 K3 提速 5 倍
AnushElangovan · x · 2026-11-07
tinygrad 团队在 8 张 AMD MI350X 上用默认 SGLang 配置跑通了 Kimi K3.1 Pro(Day 0 支持),解码速度约 300 tok/s,相比 K3 的约 60 tok/s 提升约 5 倍,作者称速度已使其常成为比 Astra/Opus 更好的选择。
配图基准数据:
- 127 tokens 提示:TTFT 0.892s,解码 295 tok/s
- 996 tokens:TTFT 0.827s,prefill 吞吐约 1,205 tok/s,解码 291 tok/s
- 4,045 tokens:TTFT 1.224s,prefill 约 3,293 tok/s,解码 308 tok/s
- 16,125 tokens:TTFT 2.706s,prefill 约 5,993 tok/s,解码 310 tok/s
「Infra」频道最新
- 百 Agent 部署难题之三:工具争用、限流中断与成本飙升 — goyalshaliniuk · 2026-11-07
- 一人开发全 Rust 系统：本地跑 Qwen 比 llama.cpp 快 25% — W61k3r · 2026-11-07
- 用前沿模型训练本地 Qwen 9B,量子力学题从 2/8 提升到 7/8 — SouthernRow2710 · 2026-11-07
- 微软季度 capex 达 452 亿美元，从 OpenAI 赚了 100 亿 — draginol · 2026-11-07
- 训练 1 FLOP、推理 6 FLOP：推理栈已成超 2200 亿美元生意 — ravikantagrawal · 2026-11-07
- Chromium 源码仓库高达 200GB,.git 会膨胀到 400GB — mohamedmansour · 2026-11-07