MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 依旧无敌

tomaarsen · x · 2026-11-20

tomaarsen 讨论 neural sparse retrieval 领域的一篇新论文《Rescaling MLM-Head for Neural Sparse Retrieval》(Jang et al.):

作者结论:GTE-MLM 这条线仍然很强,即使经过 Jang 等人的修复,ModernBERT、Ettin 等新模型仍打不过它;并附上微调指南链接。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →