SauerkrautLM 发布 1.5M~115M 三档 MoE 稀疏检索器

QuixiAI · x · 2026-10-23

VAGOsolutions 开源 SauerkrautLM-MoEdernColBERT 系列,提供 1.5M、27M、115M 三个规模的 late-interaction MoE 检索器,Apache 2.0 协议,附 GGUF 与 CoreML 构建。核心思路:把 ModernBERT 每层 transformer 的稠密前馈块替换为专家混合(Mo(E)dernBERT)。用 MoE 做检索器的理由是检索成本主要来自对百万文档逐 token 编码,MoE 将容量与计算解耦——每 token 存储多于计算,在不增加索引编码开销的情况下提升多语言与领域能力。技术细节包括:router 每 token 选 8 个 GeGLU 专家中的 2 个加一个共享专家(115M 版仅激活 114.6M 参数中的 67.4M);用 hash embedding 做分解,115M 版 embedding 参数从 30.7M 降到 5.96M。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →