VAGOsolutions 发布超小 MoE 检索模型,最小仅 150 万参数
tomaarsen · x · 2026-10-26
tomaarsen 介绍 VAGOsolutions 的 SauerkrautLM-MoEdernColBERT 系列:三个 Apache 2.0 开源多语种多向量检索模型,参数量分别只有 1.5M、27M 和 115M,支持德、英、西、荷、法、意、葡七种语言。1.5M 版本总参数仅 150 万,每 token 激活参数低至 88 万,是极为罕见的 MoE 架构嵌入/检索模型。全部模型已在 Hugging Face 上以集合形式发布,并提供 GGUF 与 CoreML 构建,便于端侧部署。
所属事件:VAGOsolutions 发布 1.5M~115M 超小 MoE 检索模型(10 条相关)→
「模型」频道最新
- 中国电信开源 Xing4.0-29B-Intent：意图识别加参数抽取一体完成 — FellMentKE · 2026-10-26
- vLLM PR 泄露 Qwen4-27B 架构：四路并行残差流，PR 随后被删 — Ok-Shower7286 · 2026-10-26
- a16z:OpenRouter 周均 token 一年涨 27 倍,开源模型占 72% — TheZachMueller · 2026-10-26
- 8GB 显存跑 125B 模型：Strata 分布式推理实测 900 t/s 预填充 — BleynSpecnaz · 2026-10-26
- Hugging Face 老牌达人补遗：本地 AI、扩散模型与 kernels 方向关注谁 — ariG23498 · 2026-10-26
- Hugging Face 值得关注的 9 个技术方向达人清单 — ariG23498 · 2026-10-26