Declarative Attention：让语言模型自主声明读哪段 KV cache

KAIST AI 联合 Google DeepMind 等合作者发布论文《Language Models Can Control Their Own Attention》，提出 Declarative Attention（DA）方法，让语言模型在推理过程中自主声明需要关注的上下文区域，从而跳过大部分 KV cache 读取。Zero-shot 评测显示解码时 KV cache 扫描量可减少 31-52%，仅带来很小的准确率损失。这一「让模型控制自身注意力」的思路为高效长上下文推理提供了新范式。

已确认

• 论文已收录至 Hugging Face 论文页与 arXiv，KAIST AI 官方账号（@kaist-ai）发布介绍，@omarsar0、@chaumian 等多位博主均已转发解读
• 核心问题：长上下文 LLM 每生成一个 token 都需重读全部 KV cache，即使真正相关的只是其中一小块区域（如 100 万 token 对话），造成大量算力浪费
• 方法：DA 让模型在推理过程中显式切换注意力模式、自行声明相关上下文区域，而非每步全局扫描
• 效果：对 Gemma 4 31B 的 zero-shot 评测显示解码成本降低约 52%；@chaumian 汇总的数据为 KV cache 读取节省 31-52%，准确率损失很小

为什么重要

• 长上下文推理成本是大模型落地的关键瓶颈，KV cache 读取常占解码开销大头，DA 无需训练即可（zero-shot）获得三至五成的扫描量削减
• 该工作代表「让模型控制自身注意力」这一新方向：由模型自主决定读什么，而非依赖外部启发式（如稀疏注意力规则或检索裁剪），为高效长上下文推理提供了新范式

2026-09-03 ~ 2026-09-04 · 5 条相关

• 【源头】KAIST 提出 Declarative Attention，让模型自选跳读 KV 缓存 — kaist-ai · 2026-09-03
• 【源头】让模型自己声明注意力：零样本省下 31-52% KV cache 读取 — chaumian · 2026-09-04
• 新论文:语言模型可自主控制注意力,解码成本降 52% — jm_alexia · 2026-09-04
• 【源头】Google DeepMind 论文 Declarative Attention:让模型自己声明读哪段 KV cache — omarsar0 · 2026-09-04
• Declarative Attention 让 LLM 主动控制注意力，KV 缓存扫描量砍半 — burny_tech · 2026-09-04