研究:近零 token 嵌入致门控模型训练崩溃,52.6% 开源模型中招
Xin Liu · hf · 2026-11-04
一项研究揭示门控序列模型(Mamba、Gated DeltaNet、xLSTM)的隐性训练陷阱:非绑定嵌入的门控/混合模型中,52.6%(38 个中的 20 个)存在低于 10⁻⁶ 的可达输入嵌入,而绑定权重模型为 0%。这些近零嵌入源于预训练中罕见或模板 token 得到零输入梯度、AdamW 权重衰减持续收缩嵌入。
危害:在门控模型中,一个近零 token 可把输入嵌入梯度放大 30 倍以上(最高 35 个数量级),引发极端梯度放大与训练不稳定;而 Transformer 因非位置嵌入或 BOS token 不受影响。
修复:提出 GroupClip 与 GateFloor 两个 remedies,约束嵌入范数并稳定门控行为。
「研究」频道最新
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- OffsecCyber 数据集发布：整合 HackerOne 报告与 CVE 训练渗透测试 LLM — AccBalanced · 2026-11-04
- 研究：「单次事实」占比决定 LLM 科学发现能力 — CatAstro_Piyush · 2026-11-04
- 把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法 — CatAstro_Piyush · 2026-11-04
- Jev 模型提升 LLM 上下文学习示例检索，蒸馏 MLP 降开销 — kalyan_kpl · 2026-11-04
- 独立研究者开源 10 年数学成果：14.6 万文件，AI 加速三年成型 — HamOnWhy · 2026-11-04