MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 依旧无敌
tomaarsen · x · 2026-11-20
tomaarsen 讨论 neural sparse retrieval 领域的一篇新论文《Rescaling MLM-Head for Neural Sparse Retrieval》(Jang et al.):
- 问题:SPLADE 类 learned sparse retrieval(LSR)模型直接用 MLM 头输出构建稀疏词法表示,用未归一化点积算相关性。更强的预训练编码器(如 ModernBERT、Ettin)MLM 头 L2 范数偏大,会在标准 SPLADE 训练下放大稀疏激活、扭曲匹配分数,导致性能退化甚至训练崩溃。
- 方法:初始化时把 MLM 头投影乘以常数因子 k 重缩放,零成本、不改架构不改训练目标。
- 结果:大幅提升大范数骨干(ModernBERT、Ettin 等)的域内与域外检索表现,把不稳定训练变成有竞争力的稀疏检索器。BEIR-13 nDCG@10 图显示 GTE-MLM 本身在各重缩放因子下保持约 0.41 的最优水平。
作者结论:GTE-MLM 这条线仍然很强,即使经过 Jang 等人的修复,ModernBERT、Ettin 等新模型仍打不过它;并附上微调指南链接。
「研究」频道最新
- 浏览器里跑 15 亿参数小模型,逐层录下注意力与预测过程 — techartist_ · 2026-11-20
- 研究员评 Forge 评测后弃用现成引擎,自写 MTG 环境做 RL — petrusenko_max · 2026-11-20
- 研究:蛋白质预训练模型学不会 15N 化学位移 — KevinKaichuang · 2026-11-20
- 牛津团队:AI 智能体几乎学不会社会规范,只能靠挨罚自己悟 — ghadfield · 2026-11-20
- Xeophon 对谈 ECI 评测创建者,聊聊评测圈现状 — xeophon · 2026-11-20
- DTMR:让四足机器人模仿人类动作时学会调整时机 — KyleMorgenstein · 2026-11-20