Ovis-Embedding 发布:统一全模态嵌入刷新 MMEB 等多项 SOTA
Embedding Team · hf · 2026-09-23
Embedding 团队发布 Ovis-Embedding 全模态嵌入模型家族,不再为各模态拼接独立编码塔,而是用共享多模态骨干把文本、图像、视频、音频编码进同一表示空间。三大关键点:
- 原生全模态初始化:以预训练 Qwen-omni 为骨干,通过对比训练加低秩初始化适配;
- 数据中心化训练:构建覆盖多模态及交错数据的高质量语料,引入同源采样构造任务一致 batch 与有效的 in-batch 负样本;
- 嵌入专用优化:focal loss 强调难例,基于相似度的嵌入蒸馏从互补专家迁移细粒度相似结构;推理端用低秩特征分解支持灵活维度、几乎无性能损失。
在 MMEB-v3、MMEB-v2、MVEB、MAEB、RTEB 等基准上均取得 SOTA,展示统一全模态训练走向 any-to-any 检索的潜力。
所属事件:阿里开源 Ovis 全模态 Embedding 模型刷新多项 SOTA(4 条相关)→
「研究」频道最新
- CoRL 联合主席忆 2021 展区仅三张桌，对比 2026 规模感概行业巨变 — Ed__Johns · 2026-11-12
- 预训练原子模型筛选 1620 种组合，为单原子金属找稳定衬底 — bravo_abad · 2026-11-12
- Claude Fable 5.2 机器人实验被拿去吊打李飞飞 World Labs?作者称搞错了研究问题 — dotey · 2026-11-12
- Claude 数周产出 239 个形式化证明,验证 123 个开源库无崩溃 — kieranklaassen · 2026-11-12
- SynthICL：纯合成数据训练，单演示泛化 16 项真实操作任务 — Ed__Johns · 2026-11-12
- AI Agent 不跑模型直接改权重,1024 个数字让 MATH-500 从 7.4% 升至 37.4% — VictorSanh · 2026-11-12