从抽象表示直接推导 KV-cache 位置，prefill 与推理形式可互通

vtabbott_ · x · 2026-10-03

作者 vtabbott 分享了一个关于抽象表示的技术观察：可以直接推导出 KV-cache 应该放在哪里以得到推理形式，即 prefill 与推理之间存在可表达的关系。帖子附带一张图，右上角的符号用于在两种模式间切换，展示了同一抽象表示如何同时覆盖训练/预填充与推理两种形态。这属于对 Transformer 推理优化中 KV-cache 机制的形式化理解，说明好的抽象层能让推理优化从「手工技巧」变成「可推导结论」。