清华团队发现混合架构「竞争学习」：冻结循环层让注意力学会检索
ChengleiSi · x · 2026-11-01
清华 THUNLP 团队发布论文《Competing Learning in Hybrid Architectures》,研究循环层+softmax attention 的混合架构(如 Kimi K3、GLM-5.3-Flash、Qwen3-Flash-Next、Nemotron-3-Ultra 均采用此类架构)训练中的分工失败问题。
- 核心发现:存在「竞争学习」现象——不同类型的 mixer 层竞争学习同一功能,先学会的层会抑制其他层的学习信号。典型数据分布下,现代循环层学检索比注意力层更快,导致注意力层在多数情况下学不到检索,分工失衡。
- 解决方案:提出 Better Layer Division(BLD)分阶段训练法,在训练前期冻结循环层权重,迫使注意力层先学会检索,再放开联合训练。
- 实验结果:在 180M–1B 模型上一致有效。750M 模型上 RULER 准确率从 26.53% 提升到 32.82%,长上下文困惑度从 12.68 降到 8.08,语言建模损失和常识推理也明显改善。
代码已开源:thunlp/competing-learning。
「模型」频道最新
- 英文提问却生成中文标题，Reddit 热议 OpenAI 管线疑用中国开源模型 — Frequent-Pen-9898 · 2026-11-01
- 开发者用 ChatGPT 做演示幻灯片，称其视觉生成明显更好 — m_wulfmeier · 2026-11-01
- 连续比特流扩散逼近自回归模型,作者称其将是下一个大方向 — LucaAmb · 2026-11-01
- 「硬件烂+云模型上瘾」不冲突：开发者用 Claude 调度手机本地模型跑 Stable Diffusion — copenhagen_bram · 2026-11-01
- Gemini 4 Argon 实战定位：视觉理解第 1，SWE-Bench Pro 第 2，金融推理仅第 11 — Hrstar1 · 2026-11-01
- ChatGPT 与 Sora 额度合并：图片生成将消耗聊天限额 — Alternative-Car8221 · 2026-11-01