新论文:语言模型可自主控制注意力,解码成本降 52%
jm_alexia · x · 2026-09-04
Hugging Face 论文页收录的《Language Models Can Control Their Own Attention》提出让语言模型自主控制自身注意力的方法。对 Gemma 4 31B 的 zero-shot 评测显示,在 15 个长上下文基准上,解码阶段的全局注意力开销降低 52%,准确率仅下降 1.52 个百分点,展示了一条无需额外长推理链即可压缩长上下文成本的路径。评论区有人质疑这类似 chain-of-thought 的噱头化营销,并反对对模型能力过度拟人化描述,但核心数字与方法本身引发关注。
所属事件:Declarative Attention：让语言模型自主声明读哪段 KV cache(5 条相关)→
「研究」频道最新
- 物理学家 Sabine：别把人类可理解性当作科学的前提，AI 才是出路 — coherence · 2026-10-21
- 有人把真实海洋幼虫的 2675 神经元接线图搬进 3D 模拟，自己游起来了 — eptwts · 2026-10-21
- 斯坦福 T2-z：机器人戳一下桌面，任务成功率从 34% 提到 73% — stanfordnlp · 2026-10-21
- 李飞飞团队发布 FACT：力觉感知的机器人灵巧操作基础模型 — stanfordnlp · 2026-10-21
- 研究者预告新论文：大模型延迟可满足机器人实时任务 — ManlingLi_ · 2026-10-21
- NVIDIA 开源机器人数据引擎 Flora,成本仅 GPT-6 Astra 的 1/125 — DrJimFan · 2026-10-21