为什么更强的线性注意力反而让混合 LLM 变弱？新研究给出竞争学习解释
ChengleiSi · x · 2026-10-29
研究者 Yingfa Chen 发布线程，解释一个长期困扰团队的怪现象：更强的线性注意力模块反而让混合架构 LLM 整体变弱。他们提出了假设并做了实验验证。
- 机制：混合架构中线性注意力与 softmax 注意力存在「竞争学习」——线性注意力先学会检索任务，抢占了训练信号，导致 softmax 注意力收到的学习信号变少，分层分工被破坏
- 修复方案（Better Layer Division, BLD）：预训练早期先冻结循环权重、单独训练注意力，再联合训练；只暂停权重更新，层保持活跃，让注意力抢到先机
- 实验证据：在 400M 规模上，Gated DeltaNet 的 RULER 分数从 12.33 提升到 25.42（+106.2%），Gated Linear Attention 从 23.98 到 28.54（+19.0%）
论文编号 arXiv:2610.26830，代码开源于 github.com/thunlp/competing-learning。
「模型」频道最新
- 开发者用 Liquid AI LFM3-Omni-2B 打造纯端侧视频问答原型 — helloiamleonie · 2026-10-30
- Pro 额度翻倍又不动 200 档？用户质疑 Tibo 的算术 — kimmonismus · 2026-10-30
- Mistral 官方直播对谈 Large 4，YouTube 与 Discord 同步进行 — IsForAt · 2026-10-30
- 新公司 Dream 发布 Built World Models，让 AI 推理物理建成空间 — Scobleizer · 2026-10-30
- Mistral 开源万亿参数 Large 4,API 价格砍半 — rohanpaul_ai · 2026-10-30
- Hugging Face 事件后，OpenAI 揭示四层失准监测体系 — rohanpaul_ai · 2026-10-30