Ovis-Embedding 发布:统一全模态嵌入刷新 MMEB 等多项 SOTA
Embedding Team · hf · 2026-09-23
Embedding 团队发布 Ovis-Embedding 全模态嵌入模型家族,不再为各模态拼接独立编码塔,而是用共享多模态骨干把文本、图像、视频、音频编码进同一表示空间。三大关键点:
- 原生全模态初始化:以预训练 Qwen-omni 为骨干,通过对比训练加低秩初始化适配;
- 数据中心化训练:构建覆盖多模态及交错数据的高质量语料,引入同源采样构造任务一致 batch 与有效的 in-batch 负样本;
- 嵌入专用优化:focal loss 强调难例,基于相似度的嵌入蒸馏从互补专家迁移细粒度相似结构;推理端用低秩特征分解支持灵活维度、几乎无性能损失。
在 MMEB-v3、MMEB-v2、MVEB、MAEB、RTEB 等基准上均取得 SOTA,展示统一全模态训练走向 any-to-any 检索的潜力。
「研究」频道最新
- Simons Institute 联合 Jane Street 招募小组研究项目,10月15日截止 — jasondeanlee · 2026-09-23
- jev-gc：给长跑 Agent 做可逆上下文垃圾回收的开源方案 — Maleficent_College57 · 2026-09-23
- 网友算账:MiMo 论文 127 万条 rollout 轨迹,或只需 10 小时算力 — teortaxesTex · 2026-09-23
- Anthropic 研究员：AI 时代做科研该选的三类问题 — CatAstro_Piyush · 2026-09-23
- EA Explorer 公共数据快照开放下载:6.6GB 含 13 万条评论记录 — AaronBergman18 · 2026-09-23
- GAE提出几何原生潜空间：FVD降23%，相机误差减半 — yshan2u · 2026-09-23