分析称 Kimi K3 计算量过大，推理服务成本难承受
teortaxesTex · x · 2026-11-04
YouJiacheng 与 teortaxesTex 分析 Kimi K3 的推理可服务性问题：
- K3 的 KV cache 虽大，但在 compute bound 的 batch size 下仍可服务，瓶颈不是 memory bound，而是计算量本身太大
- 即使只按 6 倍激活参数计且不计 CED，Kimi 也 serve 不动
- 考虑 dense MLA 的计算开销（77k 上下文相当于 400B 激活参数），情况更糟
- 结论：这是算力/成本问题，而非 infra 效率问题
「Infra」频道最新
- 软银云子公司遭勒索软件攻击：7 分钟沦陷，近 500 家机构受影响 — ChuckDBrooks · 2026-11-05
- 2500 美元本地装机实测：27B 模型跑出 150 tokens/s — casper_hansen_ · 2026-11-05
- 2500 美元单卡方案把 328GB GLM-5.3-Flash 压到 125GB 本地跑 — casper_hansen_ · 2026-11-05
- Arm 财报拆解:数据中心版税翻倍,自研芯片与客户竞争成隐忧 — tengyanAI · 2026-11-05
- 开源 Local Office 为 Windows ARM64 骁龙 NPU 添加本地 AI 支持 — HowDevelop · 2026-11-05
- llama.cpp 发布 v0.9.0，ggml 团队数周内将推出首个 v1.0.0 大版本 — ggerganov · 2026-11-05