Kimi-K3 本地实测仅 0.23 tok/s,双 6000 PRO 也很慢
Aroochacha · reddit · 2026-07-29
有人把 Kimi-K3 跑到了本地,并给出了相当慢的吞吐实测。
- prompt eval:40 tokens / 97.5 秒,约 0.41 tok/s
- eval:400 tokens / 1769.9 秒,约 0.23 tok/s
- 总计 440 tokens / 1867 秒,约 31 分钟
- 运行环境是高配工作站:9965WX PRO、512GB DDR5、双 RTX 6000 PRO 96GB,外加 NVMe RAID 存储。
- 原帖还提到下一步要把这台工作站接入 100GbE fabric 供 RPC 使用。
「编程与Agent」频道最新
- Plannator 发布技能:用 HTML 生成 Agent 交互原型 — tom_doerr · 2026-08-24
- DocketBird MCP 服务器:支持搜索下载法院文档 — modelcontextprotocol · 2026-08-24
- AgentLux MCP 服务器:支持市场和社交流程 — modelcontextprotocol · 2026-08-24
- MongoDB 发布 Agent 工具包,让编码助手精通数据库 — TheTuringPost · 2026-08-24
- 开发软件前先让 Agent 查开源库,99% 的情况是正解 — generativist · 2026-08-24
- 开发者瓶颈不在 AI 上下文,而在人脑认知负荷 — Vidhrohi · 2026-08-24