新论文:steering 向量在图文模态间零样本双向迁移
benno_krojer · x · 2026-10-28
Donghao Zeng 领衔、bennokrojer 等合作的新预印本显示:steering 向量可在图像与文本生成之间零样本双向迁移,为统一多模态模型存在共享概念空间提供了因果性证据。
方法
- 以统一多模态模型(UMM,同一权重自回归生成文本和图像)为试验台
- 用 difference-in-means 分别在文本或图像空间提取 steering 向量,加到生成 token 上,用 LLM judge 判断概念是否出现
主要发现
- 跨模态 steering 在众多概念上与模态内 steering 效果相当,有时甚至更好
- 连「模态特有」概念也能跨模态迁移:纯从高/低分辨率图像对提取的向量加到文本生成,模型不仅描述模糊画面,还会用更短的句子、表达更多不确定性;口语 "gotta" vs 正式 "must" 的差异同样能迁移到图像空间
- 几何分析:部分模型/概念中两模态对应 steering 向量余弦相似度较高且与迁移成功率相关,但无明确统一趋势;两个模态嵌入空间总体上是分开的,相似性更多来自隐含的共享结构
作者对方向长期乐观:在旧模型上挣扎数月后,更新的模型效果明显更好,预计随模型迭代持续改善。作者还列出后续方向:适配 diffusion-autoregression 混合生成、跨模态非线性流形 steering、自动化形式化「模态独有概念」等,欢迎相关研究者联系。
所属事件:新预印本：跨模态转向向量可在图文生成间零样本双向迁移(7 条相关)→
「研究」频道最新
- DiscoTrace 论文获 EMNLP 2026 最佳论文:对比人类与 LLM 的答题策略 — rachelrudinger · 2026-10-29
- 一张红心图片就能让模型 100% 写递归代码，DeepMind 论文揭示隐式视觉引导 — dair_ai · 2026-10-29
- 新基准 CMASS 登场：5.5 亿文档语料上考验智能体搜索 — lintool · 2026-10-29
- 把蛋白质写成字母序列：Profluent 用语言模型设计基因编辑器 — nathanbenaich · 2026-10-29
- AAAI rebuttal 季到了，研究员公开自己的答辩模板 — StephenLCasper · 2026-10-29
- 学者提出「Neurovium」：神经、计算与认知的统一学科 — neurovium · 2026-10-28