0.9B 参数统一六种模态嵌入,文本支路冻结做到零退化

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Sahal Shaji Mullappilly, Ivan Laptev, Hisham Cholakkal

EMNLP 2026

cs.CV

2026-10-02

MBZUAI 冻结文本编码器、用稠密字幕自蒸馏对齐五种媒体模态,0.9B 模型文本检索零退化,比同列开源模型小 2.7~9.5 倍。

这篇在解决什么

把文本嵌入模型扩展到图片、语音这些新模态,常见代价是文本检索本身掉点:联合对比训练会挪动文本几何,MTEB 分数随之下滑。现有 omni 嵌入模型的对策是堆参数,e5-omni、LCO-Embedding-Omni、omni-embed-nemotron 一路做到 2.5B8.9B。论文把这叫「多模态扩张两难」:每加一个模态,要么接受文本退化,要么接受模型变大,而文本检索在真实搜索里仍是最关键的模态。

作者的立场很直接:文本不该跟着一起学,它应该是钉死的锚。

方法

核心机制一句话能讲清:不需要单独的 teacher 模型。每条媒体样本配一段稠密字幕,冻结的文本 backbone 自己把字幕编码成向量,这个向量就是蒸馏目标。teacher 和 student 共享同一套冻结权重,天然落在同一几何里,余弦对齐就够,连投影头都不需要。

文本 backbone 用 Qwen3-Embedding-0.6B,全程冻结。0.9B 版的文本推理路径与原版逐位相同,训练在结构上不可能让文本检索退步。
语音走 Whisper、环境音走 Dasheng,各出 128 个 token 按时间交错;图像、视频、视觉文档共用一个 ViT。所有模态 token 拼进一个序列过同一个因果 transformer,取 EOS 位置的隐状态做嵌入。
只训 68.32M 参数(占推理参数 7.3%),全是投影层和 r=16 的 LoRA。前 20% 步只训投影层,之后才放开编码器 LoRA,理由是投影层没对齐前,编码器学到的是噪声。损失是 Matryoshka SigLIP 对比加余弦自蒸馏,后台用 FAISS 在线挖难负例,负例随编码器变强而变难。
字幕由 Qwen3-Omni-30B 生成,数据集原始字幕钉在 prompt 里做接地;视觉文档字幕平均 654 词,约是其他模态的 6 倍。训练数据 22.8 万条,8 张 MI210 就够。

结果

模型	指标	结果
Omni-Embed-Mini-0.9B	MTEB-v2 BEIR-8 文本	49.57,与 backbone 逐位相同
omni-embed-nemotron-3B	同上	50.48,参数 5 倍
Omni-Embed-Mini-2.3B	六模态总平均	51.39,gemini-embedding-2 为 49.51
e5-omni-7B	六模态总平均	52.93,仍是第一
Omni-Embed-Mini-2.3B	MMEB-V2 视频	55.18,e5-omni 两版为 32.92/44.73

0.9B 的短板在视觉:图像 26.29、视频 18.48。原因查得清楚:ViT 从 0.8B 小模型抽出,训练数据只有 8.6 万张图和 3.6 万条视频。换 2.3B 原生视觉 backbone 后图像 64.80、视频 55.18,卡脖子的是视觉编码器容量,不是对齐方法。

消融里信息量最大的是字幕密度:稠密字幕换回数据集原始字幕,视频掉 14.06、图像掉 8.60。解冻 backbone 在 0.9B 上让各媒体模态涨 1.105.66,但文本掉 3.13;在 2.3B 上则全线变差。三个随机种子下各模态分数波动都在 2 分以内,文本恒为 49.57。

为什么重要

对做全模态检索的工程团队,这是条可复制的路线:文本能力直接用现成最强的,新模态用投影层加 LoRA 挂上去,文本侧零风险。0.9B 适合边缘部署,Matryoshka 截断到 128 维后,千万条级索引从约 41 GB 缩到约 5 GB。backbone 冻结还有个工程红利:出了更强的文本嵌入模型,只需重训投影层和 LoRA,论文从 0.6B 换到 2.3B 就演示了一遍。

诚实地说,0.9B 的媒体检索分数明显落后更大的模型,这版的卖点是文本保障加体积;2.3B 才是和大模型掰手腕的那个。

局限与存疑

作者自己列得相当全。共享空间被冻结的文本几何框住,难以言说的信息(复杂声学纹理、抽象视觉模式、细粒度时间线索)可能装不进去。所有蒸馏目标出自同一个 captioner,它的系统性偏差会均匀铺满整个语料;论文不过滤字幕的事实性,也没做字幕扰动实验,只能报告「字幕质量掉一点,检索掉很多」。视频评测统一用 8 帧均值池化,封住了上限。现有 benchmark 各测一个模态切片,没有六模态 any-to-any 检索的评测,总平均的含金量有限;交错多模态查询是架构原生能力,贡献却没有单独实验。

还有一点要说破:零退化是结构性保证,保证的是「继承」Qwen3-Embedding-0.6B 的水平,方法本身不产生文本能力。

术语

Matryoshka 表示学习(MRL):训练时让嵌入向量的前缀维度也可用,推理可截断到 128/256/512 维,换存储和速度。
SigLIP:逐对 sigmoid 打分的对比损失,不依赖 batch 内 softmax,小 batch 下表现好。
难负例挖掘:训练中周期性用当前模型重检索语料,把最像正例的错配样本喂回去当负例。
灾难性遗忘:模型学新任务时把旧能力覆盖掉,这里指多模态微调把文本检索练坏。
LoRA:只学低秩增量矩阵的参数高效微调。
nDCG@10:检索指标,衡量前 10 名结果中相关文档的排序加权得分。

原文与代码

社区讨论

Omni-Embed-Mini：0.9B 参数统一嵌入六种模态且文本检索零退化 _reachsumit