VAGOsolutions 发布 1.5M~115M 超小 MoE 检索模型

VAGOsolutions 在 Hugging Face 发布 SauerkrautLM-MoEdernColBERT 系列：三个多语种多向量检索模型参数量分别仅为 1.5M、27M 和 115M，以 Apache 2.0 许可开源。据 tomaarsen 介绍，这是基于 ModernBERT 混合 MoE 架构的 ColBERT 风格多向量检索模型，支持德语、英语、西班牙语、荷兰语等多语种，他称从未见过这么小的 MoE 嵌入/检索模型。极小模型在多项评测中已逼近甚至超越 Qwen3-Embedding-0.6B，对高并发、低成本的检索部署有直接参考价值。

已确认

• 系列包含 1.5M、27M、115M 三档参数，Apache 2.0 开源，已在 Hugging Face 上线，可用 Sentence Transformers 的 MultiVectorEncoder（trustremotecode=True）直接加载
• 架构为 ModernBERT 混合 MoE 的多向量 ColBERT 检索模型：每个 transformer 层将 token 路由到 8 个专家中的 2 个，外加一个始终开启的共享专家；嵌入表用短向量投影到隐层维度的方式压缩，1.5M 版因此大幅省参数
• 官方对比图显示 115M 版在 11 项基准中的 9 项领先 Qwen3-Embedding-0.6B，且吞吐约为其 8 倍
• 27M 版在六语提问检索英文维基的跨语言 MKQA 平均成绩为 0.684 vs 0.681 Recall@20，超过 Qwen3-Embedding-0.6B，参数约为其 1/22
• 1.5M 版在英文 NanoBEIR 上以 0.591 vs 0.589 nDCG@10 微弱领先 IBM granite-97m-multilingual-r2
• 团队在单卡 RTX 6000 Ada（bf16、512-token 文档）上的编码吞吐：1.5M 版 43255 docs/s、27M 版 6708 docs/s、115M 版 1130 docs/s；1.5M 版约为 Qwen3-0.6B 的 300 余倍
• tomaarsen 分析质量来源：多向量检索让每个 token 保留一个 128 维向量，MaxSim 允许查询 token 匹配文档中不同 token，因此即使编码器极小也能保持检索质量，代价是存储与打分开销

为什么重要

• 极小参数量即可逼近甚至超越通用大厂 0.6B 级嵌入模型，意味着检索场景可用远低于常规规模的模型获得相近质量，显著降低部署成本
• 8 倍（115M 版）乃至 300 余倍（1.5M 版）于 Qwen3-Embedding-0.6B 的编码吞吐，对高并发检索服务是实质性工程优势
• MoE 架构下沉到 1.5M115M 量级的嵌入/检索模型，为该方向提供了少见的开源参考实现

2026-10-26 ~ 2026-10-26 · 10 条相关

• 【源头】115M 参数检索模型 8 倍吞吐追平 Qwen3-Embedding-0.6B — tomaarsen · 2026-10-26
• 【源头】VAGOsolutions 发布超小 MoE 检索模型,最小仅 150 万参数 — tomaarsen · 2026-10-26
• Sentence Transformers MultiVectorEncoder 即可上手 MoEdernColBERT — tomaarsen · 2026-10-26
• 【源头】115M 参数 MoE ColBERT 检索模型发布，10 项质量测试 9 项胜 Qwen3-Embedding-0.6B — tomaarsen · 2026-10-26
• 1.5M 模型 English NanoBEIR 险胜 IBM 97M 编码器 — tomaarsen · 2026-10-26
• 27M 版跨语言 MKQA 已超 Qwen3-0.6B,参数仅 1/22 — tomaarsen · 2026-10-26
• 1.5M 版编码吞吐 43255 docs/s,达 Qwen3-0.6B 的 300 余倍 — tomaarsen · 2026-10-26
• MoEdernColBERT 架构拆解:每层 8 选 2 专家加共享专家 — tomaarsen · 2026-10-26
• 多向量检索是小模型抗衡大编码器的质量关键 — tomaarsen · 2026-10-26
• 1.5M 超小编码器入列:VAGOsolutions 发布 MoEdernBERT 版 ColBERT 检索模型 — tomaarsen · 2026-10-26