Google 论文:让模型自选上下文,注意力开销降 52%
rohanpaul_ai · x · 2026-09-05
Google 一篇部署论文提出 Declarative Attention:不再让 LLM 为每个 token 重读全部上下文,而是由模型自己声明需要读哪部分,推理引擎跳过其余内容,无需额外 scorer 先扫全上下文。在 15 个长上下文任务零样本评测中,Gemma-4-31B 的注意力开销降 52.0%,Qwen-3.6-27B 降 31.1%,精度分别只掉 1.27 和 2.75 个百分点;模型越大权衡越好,配合训练还有提升空间。
所属事件:新论文让模型自控注意力，KV 读取省 52%(3 条相关)→
「Infra」频道最新
- 三星电机突入 Nvidia 基板供应链，台湾基板高管直呼意外 — zephyr_z9 · 2026-10-23
- Suhail 高价收货:公开求购用于模型的 RL 内核优化任务 — AIFlow_ML · 2026-10-23
- GitHub 自述:99.99999% 仓库已迁至 Azure,按引用级仲裁解锁 agent 规模并发 — marlene_zw · 2026-10-23
- 黄仁勋到访阿斯塔纳，与哈萨克斯坦副总理畅谈 AI 国家战略 — nvidia · 2026-10-23
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23