sentence-transformers 支持 MRL 训练，token 向量降到 16 维仍可用
tomaarsen · x · 2026-11-12
sentence-transformers 维护者 tomaarsen 指出，近期发布中除 token pooling 外，还悄然加入了对多向量（Late Interaction）模型的 Matryoshka（MRL）感知训练支持（MultiVectorMatryoshkaLoss）。
要点
- 多向量检索中每个 token 向量从 128 维截断到 32 维可省 4 倍存储，但普通训练下直接截断会丢失区分正负例的信息；MRL 训练在 128/64/32 等多个宽度上同时计算检索损失，让前导维度独立可用。
- 作者实测（NanoBEIR nDCG@10）：16 维时 Matryoshka 训练 28.48% vs 标准训练 18.76%，32 维 43.44% vs 37.38%，64 维后差距收窄，128 维基本持平（48.95 vs 48.45）。
- 作者经验：backbone 较大时截到 64 维损失不大，小 backbone 则不行；同类存储压缩下 token pooling 通常比维度截断更保检索质量，可优先尝试。
所属事件:sentence-transformers 新特性：token pooling 与量化、MRL 兼容出色(3 条相关)→
「Infra」频道最新
- Vera Rubin 开始出货，富士康 Q3 净利创纪录达 775 亿新台币 — ns123abc · 2026-11-12
- 实测算账：买 4 台 DGX Spark 一年赚 74%，跑赢 NVIDIA 股票 — OwariDa · 2026-11-12
- 曝马斯克押注 Terafab:单一工厂年产 1 太瓦硅芯片,为全球现有约 30 倍 — XFreeze · 2026-11-12
- IITM 教授将物理嵌入学习过程，大幅削减 AI 仿真算力成本 — ravi_iitm · 2026-11-12
- 按需提精度：小模型解码不确定时动态升级权重位数 — Mohammed Nayeem Khan · 2026-11-12
- MiniMax H3 图像模型被压进单张 32GB AMD 卡:4K 出图 33 秒 — evp-cloud · 2026-11-12