Declarative Attention 让 LLM 主动控制注意力，KV 缓存扫描量砍半
burny_tech · x · 2026-09-04
核心问题
长上下文 LLM 在每步解码时都要扫描整个 KV cache，即使真正相关的只是其中一小块区域，造成大量算力浪费。
方法：Declarative Attention
论文提出让模型在推理过程中显式切换注意力模式：全局、聚焦、局部三种状态，模型自己声明当前需要哪种注意力，推理引擎据此跳过无关的 KV cache 区域。
实验结果
- Gemma-4-31B：注意力 token 数减少 52%，准确率仅下降约 1.27pp
- Qwen-3.6-27B：减少 31%，准确率下降约 2.75pp
以极小的精度代价换取显著推理效率提升，属于面向长上下文推理优化的新注意力控制机制。
所属事件:Declarative Attention：让语言模型自主声明读哪段 KV cache(5 条相关)→
「研究」频道最新
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21