Meta 提出 MoEMB：3B 激活参数超越 4 倍规模的多模态嵌入模型
_reachsumit · x · 2026-09-09
Meta 等机构发布论文 MoEMB，提出用混合专家（MoE）扩展通用多模态嵌入模型，而非增大表示维度、检索开销或堆成重型多模态 LLM。
- 动机：嵌入模型难以规模化——参数增大与对比学习所需的大 batch 冲突，且检索服务受延迟约束；不同任务复杂度差异大，整体扩容带来大量冗余计算。
- 方法：沿专家维度扩展编码器容量，同时保持单向量、非自回归编码，并系统研究 MoE 嵌入的设计空间与训练配方。
- 结果：在基于公开 MMEB 系列数据训练的模型中，仅 3B 激活参数即在 MMEB-V2 和 MRMR 上刷新 SOTA，超越激活参数 4 倍以上的推理式嵌入方法（TTE），计算量显著更低。
- 另对自适应计算做了首个系统研究以进一步提升效率。
所属事件:Meta 发布 MoEMB：3B 激活参数超越 4 倍规模多模态嵌入模型(2 条相关)→
「多模态」频道最新
- 2 小时 50 美元复刻 Kurzgesagt 格式，引出「AI 创作缺意图」之争 — motionbynick · 2026-10-27
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27
- Reddit 求助：Qwen Image 2.1 换装总毁身材比例，Flux 3 Klein 略好 — Existing-Box-7866 · 2026-10-27
- ComfyUI 打造跨场景一致角色：RealVisXL V5 加 img2img 面部参考 — MiaLarsonJL · 2026-10-27
- 29 美分生成迈克尔·贝式屋顶大片，Seedance 实测效果惊人 — PersonalSpace_4225 · 2026-10-27
- 3 步 Turbo LoRA 实测:Moss 图像模型极速出图效果展示 — JadedScorpion · 2026-10-27