循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分

_reachsumit · x · 2026-11-18

arXiv 论文《When Does Reusing Layers Help Multimodal Embeddings?》系统检验「让紧凑多模态嵌入模型把同一组层再跑一遍」能否提升检索效果。

核心发现

结论:循环层的收益来自预训练时学会利用重复计算,事后给标准模型加循环几乎无益;视觉更新的 query 条件化在回答视觉问题时才有帮助。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →