让模型自己声明注意力：零样本省下 31-52% KV cache 读取
chaumian · x · 2026-09-04
arXiv 论文《Language Models Can Control Their Own Attention》提出 Declarative Attention（DA）协议，解决长上下文推理中全局注意力必须扫描全部 KV cache 的开销问题。
- 核心思路：不再用外部代理分数挑选 token（每步仍 O(N)），而是让模型在思维链中自己「声明」需要关注哪里，分为三种模式：<global>（全上下文）、<focus>（特定区域）、<local>（仅近期输出）
- 推理引擎像解析工具调用一样解析这些声明，跳过大部分 KV cache 读取
- 零样本结果：在 15 个长上下文任务上，现成模型（Gemma-4-31B、Qwen-3.6-27B）解码期被注意 token 总量分别减少 52.0% 和 31.1%，精度损失仅 1.27pp 和 2.75pp，且随模型规模增大而缩小
- 为稀疏注意力开辟新轴，训练式方法还有进一步提升空间
所属事件:Declarative Attention：让语言模型自主声明读哪段 KV cache(5 条相关)→
「研究」频道最新
- 神经科学家 Nature 撰文：AI 没有意识，也许永远不会有 — anilkseth · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21