KV 缓存差 10 倍：Inkling 2 对比 DeepSeek，RSI 短期难推动架构创新
bookwormengr · x · 2026-11-08
作者质疑「递归自我改进（RSI）」能否在架构层面带来突破：AI 擅长组合已有想法做试错，但想法廉价、算力昂贵，因此 RSI 更多是辅助顶尖人类研究者，而非独立产出优雅架构。
他给出的证据是两个效率对比：
- KV Cache 体积：Thinking Machines 的 Inkling 2 百万 token 需 8.2 GB，而 DeepSeek v4.1 仅 0.8 GB，相差约 10 倍；配图估算显示该模型 BF16 精度下总 KV 缓存约 32.85 GB，FP4 下也有 8.21 GB。
- Prefill 成本：Inkling 2 激活参数 17B，是 DeepSeek 4.1 Flash（8B 激活）的约两倍贵。
作者的假设是：当前大部分质量提升来自数据、RL 环境和基于人类需求的目标设定，而非算法架构本身的自我改进。
「Infra」频道最新
- Shruti 开源模型覆盖印度 22 种官方语言，单个文件不到 30MB 可离线跑 — kingslyj · 2026-11-08
- 硬核极客用 SystemVerilog 跑通 SmolLM-135M 全推理流程 — cneuralnetwork · 2026-11-08
- 一个想法改变一切：1966 年 Dennard 用单晶体管奠定现代 DRAM 基础 — cneuralnetwork · 2026-11-08
- 用户实测:Anthropic API 缓存 5 分钟窗口让打包额度大量浪费 — teortaxesTex · 2026-11-08
- Harbor 一周年：每周处理 200T tokens,Terminal-Bench 超 1000 万次运行 — BenBlaiszik · 2026-11-08
- 像 LLM 排行榜一样对比硅光子代工厂：Photonics Atlas 汇总厂商组件规格 — jwt0625 · 2026-11-08