蚂蚁等发布全模态 Embedding 综述:跨模态研究正走向统一

codefuse-ai · hf · 2026-11-03

蚂蚁集团联合上海交大、澳国立等发布全模态 embedding 综述与路线图。尽管数学基础相通，embedding 研究长期按模态割裂、社区间少有交流。作者认为受对比学习、Transformer 架构与粒度变化驱动，跨模态 embedding 研究正在收敛到共同原则。

论文提出按覆盖（coverage）、可比性（comparability）、组合性（compositionality）三个递进能力维度组织框架，对应三条统一路径：transformation 拓宽覆盖、alignment 实现可比性、joint embedding 追求组合性（作者主张的终点）。