新预印本：跨模态转向向量可在图文生成间零样本双向迁移
一项由 Donghao Zeng 领衔、Benno Krojer 等合作的新 arXiv 预印本《Cross-modal Steering Vectors Exist Across Both Image and Text Generation》发现：在统一多模态模型（UMM）中，从一种模态（文本生成或图像生成）学到的 steering 向量，可以零样本迁移到另一种模态，且图像↔文本双向均成立。这为「不同模态共享同一概念空间」的假说提供了因果性证据。
已确认
- 论文由 Mila/McGill 联合 CMU、MIT CSAIL、东北大学等机构发布，Donghao Zeng 主导，Benno Krojer 为合作者之一，Mila 官方账号亦作了介绍。
- 方法：先找到能成功操控某一模态生成的转向向量，再测试其在另一模态上的零样本效果。
- 展示的可控概念包括情绪与物体大小等，可同时作用于文生图与文生文。
- Benno Krojer 在帖子下补充观察：不同 steering 向量之间余弦相似度可能不高，即存在多条相当不同的向量都能很好引导同一概念，暗示模型内部可能存在多种引导机制。
为什么重要
- 该结果是多模态训练是否让知识跨域泛化的直接检验：若图文共享概念空间，在文本上学到的「概念方向」无需额外训练即可操控图像生成，反之亦然。
- 与仅看表征相似性的相关性证据不同，steering 提供了因果性证据，对理解统一多模态模型的内部机制及跨模态可控生成有参考价值。
2026-10-28 ~ 2026-10-28 · 7 条相关
一手来源
- 新论文:steering 向量在图文模态间零样本双向迁移 — benno_krojer ·
- Mila研究:跨模态转向向量存在,情绪与物体大小可控文生图与文生文 — MilaQuebec ·
- steering vectors 研究补充：不同向量低余弦相似度也能引导同一概念 — benno_krojer ·
- 【源头】Mila研究:跨模态转向向量存在,情绪与物体大小可控文生图与文生文 — MilaQuebec · 2026-10-28
- 新预印本:跨模态转向向量可双向零样本迁移,指向共享概念空间 — benno_krojer · 2026-10-28
- 【源头】新论文:steering 向量在图文模态间零样本双向迁移 — benno_krojer · 2026-10-28
- 【源头】steering vectors 研究补充：不同向量低余弦相似度也能引导同一概念 — benno_krojer · 2026-10-28
另有 3 条近重复转述:benno_krojer · benno_krojer · benno_krojer