InstantFusion：用共享潜空间接口打通异构图像生成器
Shanghai-AI-Laboratory · hf · 2026-10-12
扩散/流模型已成为图像生成的主流范式，但不同架构生成器之间的潜表示对齐与去噪动态一致性仍缺乏研究。作者发现一个有趣现象：独立训练的生成器具有相似的潜空间组织，且即使模型未对齐，直接传递中间状态仍能保留粗略视觉内容。
据此提出 InstantFusion，一个轻量级共享潜空间接口，连接异构图像生成器的去噪轨迹：
- 为每个模型引入专属 Latent AutoEncoder (LAE)，把中间状态投影到共享潜空间，再解码到目标生成器的潜空间。
- 用两个互补目标约束共享空间：对齐同一图像在匹配噪声水平下的中间状态，并同步对应的局部去噪速度。
训练完成后，去噪可在冻结的生成器之间无缝切换，无需为每对模型单独建立映射。在加速、多偏好组合、跨架构 on-policy 蒸馏与跨模型组合等场景中均取得有竞争力的表现。
「多模态」频道最新
- 当年押注代码而非图像生成，Anthropic 的豪赌正被验证 — IndraVahan · 2026-10-12
- 用 Claude、Gemini、Flux 制作 5 分钟印度历史纪录片 — deedydas · 2026-10-12
- 浙大 MixTok 混合视觉分词器：约 131 token 达 gFID 1.95 — ZhejiangUniversity · 2026-10-12
- AI 生成土屋照片走红：小黏土烤炉成了画面里最可信的物件 — misovalko · 2026-10-12
- 本地 AI 音乐分离工具 Lux In Music 上新：支持 MP3/FLAC 多轨分离 — alexcovo_eth · 2026-10-12
- 一句话指令搞定品牌发布视频，Capsule agent 一次生成零返工 — DavidBennett__ · 2026-10-12