1.5M 超小编码器入列:VAGOsolutions 发布 MoEdernBERT 版 ColBERT 检索模型

tomaarsen · x · 2026-10-26

VAGOsolutions 在 Hugging Face 发布 SauerkrautLM-MoEdernColBERT 系列:基于 MoEdernBERT 架构的多语言 ColBERT 检索器,提供 1.5M、27M、115M 三个规模,并附带 GGUF 和 CoreML 构建。

sentinel 系 sentence transformers 维护者 tomaarsen 点评称,这个规模段的 MoE 检索模型很有意思:1.5M 的编码器小到极致,而 115M 模型已能与更大的稠密模型竞争。他补充解释,质量优势部分来自 multi-vector 检索——每个 token 保留一个 128 维向量,MaxSim 允许 query 的不同 token 匹配文档中的不同 token,因此即使编码器极小,需存储和打分的向量数也远超每段文本一个稠密向量的方案。