研究者指出 Transformer 内部状态多次被压缩,K/V 缓存并非完整记忆
repligate · x · 2026-10-01
repligate 在讨论中指出,Transformer 每轮前向传播中计算出的内部状态,有相当一部分并不会存入 K/V 缓存。这些状态在整个 forward pass 中被多次丢弃或压缩,而不是只在每轮结束时压缩一次。这一说法挑战了「K/V 缓存等于模型记忆」的常见直觉,暗示模型每步推理中的大量中间计算是不可恢复的。
「研究」频道最新
- LLM 时代怎么读懂证明?伊利诺伊教授分享拆解证明的学习法 — nanjiang_cs · 2026-10-01
- MIT Miller 实验室:脑区空间异质性塑造大规模皮层动力学同步 — burny_tech · 2026-10-01
- TraceML 分析 4672 条 Kaggle 轨迹:AI agent 研究策略窄于顶级人类 — burny_tech · 2026-10-01
- 两条独立测量同指 2027 年 7 月：前沿级 AI 研究员时间线浮现 — 141_1337 · 2026-10-01
- Sony AI 等发布 ST-AudioLM:一次建模声音语义与声源移动轨迹,代码已开源 — mittu1204 · 2026-10-01
- 斯坦福 Qi 实验室获 NIH TRDNT 挑战赛首阶段,用 CRISPR-TO 做 RNA 空间重编程 — anshulkundaje · 2026-10-01