新论文让模型自控注意力，KV 读取省 52%

arXiv 新论文《Language Models Can Control Their Own Attention》（Namgyu Ho 等，Google 参与）提出 Declarative Attention（DA）协议：不依赖外部代理分数预筛 token，而是让模型在思维链中自行声明需要关注上下文的哪一部分，推理引擎据此跳过其余内容。该方法使长上下文推理的注意力开销与 KV 读取量降低约 52%，显著提升解码效率。

2026-09-05 ~ 2026-09-05 · 3 条相关

• Google 论文:让模型自选上下文,注意力开销降 52% — rohanpaul_ai · 2026-09-05
• 论文:语言模型可自控注意力,长上下文读取量省 52% — rohanpaul_ai · 2026-09-05
• Declarative Attention 协议:让模型自己声明注意区域,解码省 52% KV 读取 — eigenlaplace · 2026-09-05