循环层复用难救多模态嵌入,预训练加循环才涨 4.23 分
_reachsumit · x · 2026-11-18
arXiv 论文《When Does Reusing Layers Help Multimodal Embeddings?》系统检验「让紧凑多模态嵌入模型把同一组层再跑一遍」能否提升检索效果。
核心发现
- 作者在单一视觉-语言架构的三个 checkpoint 上测试了 11 种循环设计与训练变体,并给出证明:若信息只向前传播,放在 query 之前的图像表示在重复层中保持与 query 无关。
- 作者通过三种方式打开 query→图像的信息通路(含下一轮把 query 放前的 order-alternating recurrence),使图像状态对 query 敏感。
- 在 MMEB-V2 全部 78 个数据集上:给标准模型后补一个循环反而比对照组低 0.46 分;加入中间生成阶段后变为 +0.36;而预训练阶段就带 recurrence 的模型比去掉循环的对照组高 +4.23 分。
结论:循环层的收益来自预训练时学会利用重复计算,事后给标准模型加循环几乎无益;视觉更新的 query 条件化在回答视觉问题时才有帮助。
「多模态」频道最新
- 用高斯泼溅实时搭建 3D 世界,Eddie 演示想象力门槛正在消失 — pvncher · 2026-11-18
- APOB AI 用 Seedream 5.5 打造 AI 偶像专辑封面并生成 K-pop MV 预告 — aftahi_ai · 2026-11-18
- 三值量化把 VoxCPM2 压缩 5.3 倍,827MB 模型笔记本 CPU 实时跑 — oguzeldereli · 2026-11-18
- 博主为 Claude 写动画构图 Skill,复刻日式情绪镜头技法 — andrew_n_carr · 2026-11-18
- 个人开发者从零训练 32x32 像素风 diffusion 模型,权重开源 — DaneMarguglio · 2026-11-18
- 用户实测:用 Claude Opus 5.5 做视频近乎零成本,100% 用量下还能再产出 — RileyRalmuto · 2026-11-18