Kimi K3 三个月后:1.56TB 全量模型本地难跑,排名已被追平
Sanbi_Ai · reddit · 2026-10-17
作者复盘 Kimi K3 发布三个月后的真实使用状况:模型全量 1.56TB,2.8T 参数必须全部加载,104B 激活参数省不了内存;Unsloth 推荐 1-bit 量化 594GB、2-bit 861GB,512GB 内存机器装不下;1-bit 与全量模型 next-token 一致率约 79%。B200 上约 20 tok/s,官方 API 也只有 43 tok/s,agentic 基准单任务平均近 1 小时、超 $10。AA 指数已跌至 44,GLM-5.3(753B) 45 分、Step 5 Preview 44 分追平。作者还提醒许可证并非 MIT:12 个月内总收入超 $2000 万的 model-as-a-service 公司商用需与 Moonshot 另行授权,即便 K3 本身不产生收入。
「Infra」频道最新
- AI 建设的钱荒来了:CoreWeave 暴跌 15.5%,TSMC 仍创纪录 — pdamodaran · 2026-10-17
- 旧金山签署数据中心暂停令,Kwok 质疑「我们在干嘛」 — kevinakwok · 2026-10-17
- vLLM 原班人马创业做 Inferact:可控的高性价比推理平台 — Xianbao_QIAN · 2026-10-17
- 8 卡 AMD MI355X 跑 Kimi K3 吞吐超 B300 24.4%,每美元 token 多 87% — vllm_project · 2026-10-17
- Anthropic:Claude Code 首响应提速 3 倍,Claude API 快 1.5 倍 — ClaudeDevs · 2026-10-17
- 双 Mac 本地分体方案:M5 Pro 主脑 + M4 子代理跑编码 Agent — Calm-Set6265 · 2026-10-17