Declarative Attention 协议:让模型自己声明注意区域,解码省 52% KV 读取
eigenlaplace · reddit · 2026-09-05
arXiv 新论文提出 Declarative Attention(DA):与其用外部代理分数预筛 token,不如让模型在思维链里自己声明它需要关注上下文的哪个部分。
- 动机:模型注意力其实集中在少部分上下文,但全局注意力层每步都要扫描整个 KV cache;百万 token 对话下代价巨大。现有 proxy 评分方法仍是每步 O(N)。
- 做法:把生成划分为三种模式——<global>(全上下文)、<focus>(特定区域)、<local>(仅近期输出),推理引擎像解析工具调用一样解析这些声明,跳过大部分 KV cache 读取。
- 结果:在 15 个长上下文任务上零样本评估,现成模型(Gemma-4-31B、Qwen-3.6-27B)解码期总注意力 token 分别减少 52.0% 和 31.1%,精度仅下降 1.27pp / 2.75pp,且随模型规模增大而收窄。
作者认为这开辟了稀疏注意力的新轴,配合训练式方法还有更大潜力。
所属事件:新论文让模型自控注意力，KV 读取省 52%(3 条相关)→
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23