EMNLP 论文：非 MRL 模型嵌入对截断出乎意料地稳健

srchvrs · x · 2026-10-26

srchvrs 总结 Takeshita 等人的 EMNLP 2026 Findings 论文《To MRL or not to MRL》的两个要点：一是随机截断的稳健性本身就令人惊讶；二是 MRL 会带来额外训练成本和约束（需预先确定截断维度），因此除非需要极端压缩，跳过 MRL 是更简单、更省钱的选择。

论文在多个模型与下游任务上对比了 MRL 与非 MRL 模型的截断表现：除非把嵌入压缩至少 80%，非 MRL 模型的截断嵌入与 MRL 模型相当甚至更好，说明截断稳健性未必来自 MRL 训练。代码已开源可复现。