论文证明 Transformer 会按幂律遗忘 prompt:训练后模型忘得更快
Shuyang Xiang · hf · 2026-10-20
独立研究者 Shuyang Xiang 发表论文《A Conditional No-Hair Theorem for Transformers》,借鉴黑洞「无毛定理」的类比,刻画自回归 Transformer 生成 t 个 token 后还保留多少 prompt 信息。
- 两个不同 prompt 后接相同续写,模型隐状态之间的距离按幂律 t^-α 衰减;α=1 对应固定 prompt 在均匀注意力下份额的收缩速度,α 越小记忆越久
- 超出前几层后,训练过的模型遗忘更快(α≈0.55–0.7),同架构未训练模型遗忘更慢(α≈0.2–0.5,随深度递减)
- 对长度 P、深度 L 的 prompt,证明该偏差上界为 O(P(log t)^(L-1)/t),适用于有限深度的 pre-LN softmax Transformer(全因果注意力、有界注意力 logits,如 RoPE 等)
「研究」频道最新
- 开源中小学数学知识图谱上线:674 知识点 2843 题,错题可回溯到小学 — aigclink · 2026-10-20
- 两篇 SIGSPATIAL 2026 论文:卫星 VLM 可还原 98.3% 出行普查数据 — flosalim · 2026-10-20
- 开源 Strix Halo 推理引擎 Gufo 发文详解混合模型缓存设计 — fedeizzo · 2026-10-20
- Metis Reasoning 发布白皮书《The Age of Reasoning》,主打可验证推理架构 — ThoreG · 2026-10-20
- RealityBench 基准：VLM 记录体力工作强在文字弱在读数与空间推理 — relantic · 2026-10-20
- 无文档也能学会编译框架，LLM 逼问 DSL 该为谁设计 — GianniMariani · 2026-10-20