KV Cache 三年缩小 437 倍，开发者断言 AI 会越用越便宜而非越贵
gnukeith · x · 2026-10-29
gnukeith 晒出一张 KV Cache 每 token 字节数的演进图，佐证其「AI 会随时间显著变便宜且更强，而非更贵」的判断：DeepSeek-V1（2023.11）每 token 389,120 字节，V3.2 降至 48,068（缩小 8.1 倍），V4-Flash 降至 3,514（再缩 13.7 倍），V4.1-Flash（2026.09）仅 890 字节，三年累计缩小约 437 倍。这意味着长上下文推理的内存与成本曲线在持续陡降。
所属事件:开发者盛赞 DeepSeek 工程效率：KV Cache 三年缩小 437 倍(3 条相关)→
「Infra」频道最新
- OpenRouter 日处理 5.2T token,大 V 追问 GPU 到底去了哪 — teortaxesTex · 2026-10-29
- 苹果 MLX 合并多项优化：批量解码提速 2~3 倍，prefill 近 2 倍 — awnihannun · 2026-10-29
- LessWrong 提案:用 ASIC 固化模型拆分训练与部署,消解前沿 AI 公司风险 — LessWrong 精选 · 2026-10-29
- 16GB 显卡跑 Raon-1-mini：从 50 提速到 232 tok/s 的完整调优记录 — McNiiby · 2026-10-29
- Geekerwan 实测:骁龙 2nm 冲到 5GHz,能效却不敌苹果联发科 — firstadopter · 2026-10-29
- 无损 12-bit 格式 NF12 让 Qwen3-32B 推理提速至 2.54 倍 — realDanFu · 2026-10-29