MICE-P 首个端到端检索管线:速度对标 ColBERT,效果保留交叉编码器
tomaarsen · x · 2026-10-27
Sentence Transformers 维护者 tomaarsen 介绍新论文《MICE to Meet You: From Re-ranking Only to End-to-End Retrieval》(arXiv:2610.31932)与配套开源模型。
- MICE 架构:下层对 query 和文档分别编码,文档表示可预先计算;上层让 query token 对文档表示做 cross-attention,保留比 ColBERT MaxSim 更丰富的交互,接近交叉编码器的效果。
- MICE-P 端到端管线:用 Fast-PLAID 把文档向量压缩到 128 维建索引,SPLADEv3 召回候选后解压打分,首次让 MICE 从纯重排走向端到端检索。
- 实测结果:在 DBPedia 延迟与去污染 BEIR13 质量的对比图上,MICE-P-61m/130m 的吞吐接近 late-interaction 检索,nDCG@10 却保持交叉编码器水平,超过 LateOn + PLAID,形成新的效率-效果折中档位。
- 代价:索引存储更大——MICE-P 用 4-bit 残差压缩(LateOn 为 2-bit)并需额外 SPLADE 索引,Climate-FEVER 500 万文档上索引约 100.1 GB vs LateOn 51.8 GB。
- 可用性:发布 61M/130M 两个 Apache 2.0 checkpoint(基于 Ettin/ModernBERT,4 层交互层),可通过 Sentence Transformers 的 CrossEncoder 直接加载做 pairwise 重排;索引化管线用作者开源实现。
「模型」频道最新
- Opus 5.5 写 GPU 上的 SASS 代码频繁被误判为网络攻击而拦截 — DimitrisPapail · 2026-10-27
- 布拉格实验室 BottleCapAI 发三款 ThinkingCap 模型，思考 token 最高省 69% — JFPuget · 2026-10-27
- 4 个月从零训出模型，Recursive 团队几乎全程用自动研究 — altryne · 2026-10-27
- 客服工单里的 AI 破绽：结尾必加「请勿升级套餐只求信息」 — glcst · 2026-10-27
- 36 个 AI 评审 36:0 一边倒：单会话技能架构胜过 Superpowers — Kai_ThoughtArchitect · 2026-10-27
- 新基准揭示：AI 诊断皮肤问题时常「发明」不存在的病症 — Individual-War3274 · 2026-10-27