图宾根大学 InterpTok:训练图像编码之间的空间,扩散 FID 降至 8.48
CGTuebingen · hf · 2026-10-15
图像 tokenizer 应该在训练图像「之间」训练
潜在扩散模型通过图像 tokenizer 的编码生成图像,当生成编码落在解码器预期分布之外时,解码结果会出现瑕疵。现有方法靠训练时加噪声增强解码器鲁棒性,但生成的编码更像训练编码的混合体而非「某个编码 + 噪声」。
InterpTok 方案(图宾根大学)
- 微调 MAETok,使其能把图像编码的混合解码为自然图像
- 由于两个训练样本之间不存在目标图像,用判别器判断解码出的混合是否与两个源图同样自然
- 配合 mixing ratio loss 要求解码结果保持混合比例,防止塌缩到平凡解
结果
- 保持 MAETok 重建质量的同时,插值质量提升超过 3 倍,为近期基准中最佳
- 匹配的 diffusion transformer 无引导生成 FID 从 11.61 降至 8.48;1/8 采样步数下达 8.11
- 生成器在 InterpTok 编码上用一半训练步数即达到 MAETok 上的最终水平
「多模态」频道最新
- 3B 像素空间扩散模型 Iris-3B Turbo 蒸馏到 4 步,H100 上 0.7 秒出 1024 图 — lmoroney · 2026-10-15
- 黄昏未来都市中飞驰的 AI 概念赛车，光影质感惊艳 — ciguleva · 2026-10-15
- Meshy 文本生成动作上线：一句话描述就能出动画片段 — techhalla · 2026-10-15
- 4 天生成 297 个资产：独立开发者用 AI 工作流造出梦想游戏 — techhalla · 2026-10-15
- Sundar Pichai 点赞 Argon 创意 demo:傅里叶圆周摆画鹈鹕骑车 — sundarpichai · 2026-10-15
- Asteria 用 LTX 开放权重定制 LoRA 打造 2D/3D 动画短片《The Very Next Day》 — paultrillo · 2026-10-15