新研究证实跨模态 steering 向量在图像与文本生成间零样本迁移
benno_krojer · x · 2026-10-28
Mila/McGill、CMU 与 MIT CSAIL 等机构发布 arXiv 论文《Cross-modal Steering Vectors Exist Across Both Image and Text Generation》，研究统一多模态模型(UMMs)中概念机制是否跨模态统一。
核心发现：
- 定义「跨模态 steering」：先找到能操控某一模态生成的 steering 向量，再将其零样本迁移到另一模态的 token 上操控生成。
- 与表征相似度等相关性方法不同，steering 是因果性干预，证明机制层面的统一。
- 在情绪、物体尺寸等多样化概念上，steering 向量在文本↔图像两个方向均能零样本迁移。
- 即使是高度模态特有的概念(如正式 vs. 口语化语言)，迁移到另一模态也会产生一致且可解释的效果(如正式的服装与设计)。
- 这种迁移有几何特征：尽管文本与图像表征之间存在明显的模态鸿沟，可迁移的 steering 向量仍有其几何签名。
作者称这是一作 Donghao Zeng 的首次科研经历，并给出后续想法：扩展到扩散-自回归混合生成过程、跨模态非线性流形操控、以及自动化形式化「模态特有概念」。论文、Demo 与代码均已开源。
所属事件:新研究：跨模态转向向量可图文双向零样本迁移(3 条相关)→
「研究」频道最新
- 深度网络布尔函数可学习性论文再引关注 — luislamb · 2026-10-28
- Tara 与 Mila 推出 CATCH：约 200 例对抗训练让 LLM 学会诚实 — Mila_Quebec · 2026-10-28
- Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7% — RobertTLange · 2026-10-28
- 谷歌开源 EmbeddingGemma 2:744M 多模态嵌入模型胜过 12 倍大模型 — dair_ai · 2026-10-28
- 个人从零训练 21B MoE(激活 3.36B),仅用 70B tokens 观察到涌现现象 — Prestigious-Taste-63 · 2026-10-28
- ShadowBench:19 个 VLM 判断影子物理一致性几乎全靠猜 — HirokatuKataoka · 2026-10-28