论文:语言模型可自控注意力,长上下文读取量省 52%
rohanpaul_ai · x · 2026-09-05
arXiv 论文《Language Models Can Control Their Own Attention》(Namgyu Ho 等)提出 Declarative Attention(DA):语言模型的大部分注意力只集中在少数上下文片段,却每次都要扫全 KV cache。DA 让模型在思维链中自行声明注意力需求,把生成划分为三种模式:
- <global>:读全上下文
- <focus>:只读某个特定区域
- <local>:只看近期输出
推理引擎像解析工具调用一样解析这些声明,跳过大部分 KV cache 读取,无需外部 proxy scorer(传统方法每步仍需 O(N) 开销)。
在 15 个长上下文任务的零样本评测中:
- Gemma-4-31B:注意力 token 减少 52.0%,精度仅降 1.27pp
- Qwen-3.6-27B:减少 31.1%,精度降 2.75pp
精度损失随模型规模增大而缩小,作者认为 DA 开辟了稀疏 attention 的新维度,配合训练方法还有更大潜力。
所属事件:新论文让模型自控注意力，KV 读取省 52%(3 条相关)→
「Infra」频道最新
- 三星电机突入 Nvidia 基板供应链，台湾基板高管直呼意外 — zephyr_z9 · 2026-10-23
- Suhail 高价收货:公开求购用于模型的 RL 内核优化任务 — AIFlow_ML · 2026-10-23
- GitHub 自述:99.99999% 仓库已迁至 Azure,按引用级仲裁解锁 agent 规模并发 — marlene_zw · 2026-10-23
- 黄仁勋到访阿斯塔纳，与哈萨克斯坦副总理畅谈 AI 国家战略 — nvidia · 2026-10-23
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23