Mila研究:跨模态转向向量存在,情绪与物体大小可控文生图与文生文
MilaQuebec · hf · 2026-10-28
Mila/McGill 联合 CMU、MIT、东北大学发布论文,研究统一多模态模型(UMM)中跨模态转向向量(cross-modal steering) 是否存在:
- 方法:先找到能成功操控某一模态(文本或图像)生成的转向向量,再零样本迁移到另一模态的 token 上。研究超越简单表征相似性,聚焦因果层面的操控。
- 发现:对情绪、物体大小等多样化概念,转向向量在文→图、图→文双向都能零样本迁移;即使概念高度专属某一模态(如正式 vs 口语化语言),转向另一模态也常产生一致可解释的效果(如更正式的着装与设计)。
- 几何结构:文本与图像表征间存在明显模态间隙,但转向效果仍可迁移,说明两种模态共享因果控制机制。
对可解释性与统一模型的可控生成有直接意义。
「研究」频道最新
- 首尔大学发布家庭机器人导航安全基准:避撞不等于安全 — SeoulNatlUniv · 2026-10-28
- Trinity 框架:按能力树重组任务,实现多模态智能体递归自我改进 — Weidong Tang · 2026-10-28
- 港中文 PhysEvolve:用物理引擎验证自生成世界,免人类数据训练物理推理 — Jinyuan Hu · 2026-10-28
- FreakTakes 作者发起「BBN 基金」，要批量复制 ARPAnet 式承包商组织 — CatAstro_Piyush · 2026-10-28
- 模型从游戏画面精确还原减速度，作者称感知能力超人但仍是死胡同 — mike64_t · 2026-10-28
- 只动两个神经元,让 Qwen3-8B 说话像她: Steering 实验公开配方 — dejavucoder · 2026-10-28