ZeroEntropy 实测：MRL 并非无损，后训投影矩阵全面胜过套娃嵌入
MrAshokRaja · x · 2026-10-26
嵌入公司 ZeroEntropy 发布博客《Matryoshka Is Dead》，用自家 zembed-1 的评测证明 Matryoshka 表示学习（MRL）并非无损：所有 MRL 训练配置都落在同一条严格的 Pareto 前沿上，只能沿前沿滑动而不能推高它；而一个事后训练的投影矩阵在全部维度与同时对比中全面压制整条 MRL 前沿。
为什么公开文献看不到这一点
- MTEB 上头部模型成绩聚集在 1–2 分内；ZeroEntropy 参数量差一个数量级的 zerank-1 与 zerank-1-small 在公开评测上相差不到 1%，内部基准上相差超过 10%——公开基准对前沿模型的细微退化不敏感。
他们改用的方案
- 放弃 MRL，改为发布 6 个学习得到的投影矩阵（已上传 Hugging Face），也可通过 zembed-1 API 直接传 dimensions 参数。
附带观点（讨论串中）：随机截断的鲁棒性令人意外；由于 MRL 带来额外训练成本和约束（需预设截断维度），除非需要极限压缩，跳过 MRL 是更简单省钱的选择。研究者 srchvrs 补充：NanoBEIR 等基准规模太小、旧 QREL 基于 BM25 覆盖不全，导致回归难以被察觉。