MoEdernColBERT 架构拆解:每层 8 选 2 专家加共享专家
tomaarsen · x · 2026-10-26
tomaarsen 解释 MoEdernColBERT 的省参数技巧:每个 transformer 层将 token 路由到 8 个专家中的 2 个,外加一个始终开启的共享专家;嵌入表用短向量投影到隐层维度的方式压缩,1.5M 版因此省下约 340 万参数(0.48M 代替 3.84M),但不带来速度提升。架构为文本→hash 嵌入→2 层 transformer(注意力+MoE MLP)→每 token 128 维向量→MaxSim 匹配。
所属事件:VAGOsolutions 发布 1.5M~115M 超小 MoE 检索模型(10 条相关)→
「模型」频道最新
- 中国电信开源 Xing4.0-29B-Intent：意图识别加参数抽取一体完成 — FellMentKE · 2026-10-26
- vLLM PR 泄露 Qwen4-27B 架构：四路并行残差流，PR 随后被删 — Ok-Shower7286 · 2026-10-26
- a16z:OpenRouter 周均 token 一年涨 27 倍,开源模型占 72% — TheZachMueller · 2026-10-26
- 8GB 显存跑 125B 模型：Strata 分布式推理实测 900 t/s 预填充 — BleynSpecnaz · 2026-10-26
- Hugging Face 老牌达人补遗：本地 AI、扩散模型与 kernels 方向关注谁 — ariG23498 · 2026-10-26
- Hugging Face 值得关注的 9 个技术方向达人清单 — ariG23498 · 2026-10-26