清华揭示混合架构「竞争学习」:递归层抢走检索任务,注意力学不到
TsinghuaNLP · hf · 2026-10-20
清华团队(含 Zhiyuan Liu、Xu Han)论文揭示混合架构(线性递归+softmax 注意力)中的 Competing Learning 现象,并提出分阶段训练方案。
- 递归层将上下文压缩进固定大小状态、吞吐高,但在上下文检索上弱于 softmax 注意力
- 两种 mixer 会竞争学习同一函数:任一层先学会某功能就会抑制其他层的学习信号;层归因显示典型数据分布下递归层更快学会检索函数,导致注意力大多学不到检索
- 中途停止递归层的权重更新,帮助注意力学会检索;据此提出预训练混合架构的分阶段训练流程
- 在 1B 参数模型实验中,语言建模损失、常识推理及各上下文长度的检索任务均显著改善
「模型」频道最新
- Perplexity 在 BrowseComp 力压 Parallel，作者归因于代码执行能力 — NirantK · 2026-10-20
- Rabbit R1 上现 Grok Bot，号称底层跑在 r1 模型上 — jesselyu · 2026-10-20
- 消费级显卡跑什么模型?3060/4060 本地部署经验讨论 — Haghiri75 · 2026-10-20
- Sol 6.1 的可爱自言自语:agent 竟给自己写"动员口号"推进任务 — TheZachMueller · 2026-10-20
- Moonshot 未发布模型 Kimi-K3.1 曝光，现身 sglang PR — TheZachMueller · 2026-10-20
- TxBench 治疗学基准新成绩：Claude Opus 5.5 抗体发现任务登顶 — kenbwork · 2026-10-20