Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Ovis-Embedding Team
cs.AI
2026-09-21
阿里把Qwen-Omni改成统一向量空间,文本图像视频音频走同一骨干。Omni-3B在MMEB-v3拿到58.46、六个模态组全第一,比次席高5.19;VL-9B在MMEB-v2总分81.13。
检索已经不能只做「图找文」或「文找文」。维修Agent可能拿一段异常声音加一句描述,去搜视频教程、PDF里的图、或旧工单。这要求查询和候选可以是任意模态组合,分数还得在同一套空间里可比,这叫any-to-any retrieval(任意到任意检索)。
现成的多模态embedder多数是事后补音频塔,或把独立音频编码器对齐到已经学好的图文几何里。声学输入被塞进一个没见过它的空间,细对齐容易吃亏。Ovis-Embedding选了另一条路:从原生全模态理解模型出发,四路输入本来就进同一个Transformer。
Omni-3B从Qwen2.5-Omni-3B初始化,丢掉说话的Talker,留下Thinker和视觉/音频前端。VL-2B/9B从Qwen3.5初始化,做图文视频。输入按聊天模板排成交错token,取最后非padding位置的末层隐状态当向量,不加模态专用投影头。检索用余弦相似度。
训练数据覆盖文本、图像与文档、视频、音频、交错输入和Agent(工具/GUI/知识检索),写成query–正例–负例。文中写约5000万对,并标明是当前冻结的占位估计,相机就绪版会改。
四阶段。Stage-1用LoRA做对比预训练,跨卡汇集负例,focal加权把梯度堆到还没分开的query上,同时用教师的全候选相似度分布做蒸馏;全参数开训在这一阶段会把尚未成型的embedding空间冲乱。Stage-2解冻,每个micro-batch只来自同一数据集,同任务负例更硬,减少靠模态或句长走捷径。Stage-3只留教师做对、学生仍错的例子并上采样,用前向KL继续蒸相似度几何。Stage-4在冻结编码器后接共享PCA基和轻量残差适配,同一2048维向量可切到1024/512/256/128。
Omni-3B在MMEB-v3总分58.46,次席Tianmu-Emb-Uni为53.27,e5-omni-7B为47.14,Omni-Embed-Nemotron-3B为43.60。六个分组全第一:图像77.55、视频64.99、视觉文档78.26、文本47.15、音频50.08、Agent 45.52,相对第二名的分差分别是3.72、5.62、2.89、3.53、7.04、6.10。31项里22项第一、8项第二,唯一掉出前二的是MultiConIR,落后Nemotron-3B约7.94。
| 基准 | Ovis分数 | 对照 |
| MMEB-v3总分 | 58.46 | Tianmu-Emb-Uni 53.27 |
| MAEB Mean(Task) | 57.29 | 次席约低3.75 |
| MVEB Mean(Task) | 61.77 | LCO-Embedding-Omni-7B低4.19 |
| RTEB英文15项 | 67.35 | Qwen3-Embedding-4B 67.27 |
| MMEB-v2 VL-9B | 81.13 | Octen-VL-Embedding-Large低1.04 |
| MMEB-v2 VL-2B | 77.46 | Octen-VL-Embedding低2.04 |
MAEB、MVEB的榜内名次是把本地分数插入快照后估的,Omni-3B当时还没正式提交。视频聚类低第一名2.00,Agent里的memory retrieval低Nemotron-3B 2.79。弹性维度上,切到1024几乎不掉(保留100.1%),128维仍保留93.2%,视觉文档和Agent掉得最多。
这是一份可落地的全模态检索配方:原生骨干、同质负例、focal+分布蒸馏、事后可切维度。3B参数压过若干7B omni模型,文本上还能略超更大的纯文本Qwen3-Embedding-4B,说明多模态覆盖不一定要牺牲检索质量。对要建统一索引的人,少维护一套塔、少校准一套分数,是直接省事。
训练对数是占位估计,相机就绪前不能当最终规模。MAEB/MVEB名次是本地插入,不是官方提交。MultiConIR、memory retrieval、视频聚类仍落后。低维时VisDoc和Agent掉点明显,短前缀装不下细粒度方向。报告几乎不公开训练算力和数据配比,复现成本不清楚。VL系列没有音频通路。对照用官方checkpoint和各自池化规则,公平,但也意味着没有统一抽特征协议下的消融。