KAIST 与 DeepMind 提出声明式注意力,让模型自己决定读哪些上下文
coallaoh · x · 2026-10-18
KAIST AI 与 Google DeepMind 研究者（一作 Namgyu Ho、Tal Schuster 等）发布 Declarative Attention（DA），一种让语言模型「自己声明注意力范围」的稀疏注意力协议。
核心思路：不再用外部代理分数预测哪些 token 重要（每步仍是 O(N)），而是让模型在思维链中以纯文本标记三种模式——<global>（读全部上下文）、<focus>（只读指定区域）、<local>（只看最近输出），推理引擎像解析工具调用一样据此屏蔽大部分 KV cache 读取。
实验结果（15 个长上下文任务、zero-shot、离线模型 Gemma-4 31B 与 Qwen-3.6 27B）：
- 全局注意力 KV 读取减少 46%（Gemma）精度仅降 1.4pp；Qwen 上减少 20%、降 2.1pp
- 每回复实际注意力 token 占比降至 45.8%/19.6%，且精度差距随模型规模增大而缩小
作者还展望了在 agent 场景配合专门后训练的潜力，以及模型可控的 KV cache offloading 作为「可逆上下文压缩」的路径。代码已开源。
「Infra」频道最新
- Hugging Face 创始人算账:开源模型共享约 10 亿美元训练算力,两年涨 25 倍 — Thom_Wolf · 2026-10-18
- 美银：AI 算力利用率近 100%，GPU 租金年内涨 12%-37%，非互联网泡沫重演 — McDonaghMatthew · 2026-10-18
- Reddit 观点:数据中心正成为新的"油田" — Unique_Ad_330 · 2026-10-18
- Wood Mackenzie:2035 年全球机器人耗电量将达 363 TWh — ingliguori · 2026-10-18
- 闰秒恰逢备份会静默跳过,Antithesis曝出诡异时钟bug — moarbugs · 2026-10-18
- 马斯克 Terafab 愿景：AI 芯片走向设计、制造、封装全垂直整合 — tekbog · 2026-10-18