研究质疑 Matryoshka 嵌入价值：轻度压缩不优于前缀截断

社区热议 Matryoshka 表示学习（MRL）是否真的有用。这项训练多分辨率嵌入、可按需选择全维或低维向量的技术被广泛使用多年，但 Takeshita 等人的 EMNLP 2026 Findings 论文《To MRL or not to MRL》发现：当压缩幅度小于 70% 时，MRL 并不优于直接前缀截断，仅在 80% 以上的重度压缩时才显出优势；且非 MRL 模型的嵌入对（随机）截断本身就有出乎意料的稳健性。

2026-10-26 ~ 2026-10-26 · 3 条相关

• 热用多年的 Matryoshka 嵌入，到底有没有用？ — srchvrs · 2026-10-26
• 实测打脸 Matryoshka：截断 70% 以内并不比普通前缀截断强 — srchvrs · 2026-10-26
• EMNLP 论文：非 MRL 模型嵌入对截断出乎意料地稳健 — srchvrs · 2026-10-26