西湖大学团队量化扩散模型生成顺序:RAE 空间呈抽象到具体层级
sedielem · x · 2026-10-12
扩散模型到底先画什么？
西湖大学等机构的研究者提出 feature information dynamics 框架，用最优去噪损失定量追踪任意表示空间中各特征在哪个噪声水平出现、按什么顺序生成。
- 延续 Sander Dieleman 的「像素空间扩散≈谱自回归」视角：低频先于高频出现，但这依赖自然图像的幂律谱结构，学习到的潜表示并不保留该结构。
- 关键发现：表示空间的选择会改变扩散模型的隐式生成顺序。在对比的模型中，只有 RAE 潜空间的扩散模型呈现「抽象→具体」的层级，且收敛最快。
- 论文附带交互式可视化（见配图），展示不同 log-SNR 下去噪损失、损失差与累积类信息的变化。
作者表示，为每种模态找最优生成顺序与表示空间是后续方向。
「多模态」频道最新
- Claude 经 Blender MCP 自动建模绑骨动画，六步教程 — sidahuj · 2026-10-12
- 「Fuzzbeast 风格」生成怪诞插画走红：红眼长发怪人系列脑洞大开 — OVolosin82152 · 2026-10-12
- 字节跳动世界模型首曝：一句话生成可自由探索的 3D 世界 — Uncanny_Harry · 2026-10-12
- 斯坦福 WonderZoom：单张图无限缩放逐层生成 3D 细节 — import_jmr · 2026-10-12
- AI 生成橘猫乐队「The Five Meow Band」酒吧开唱,主唱打碟一应俱全 — Reasonable_Damage_18 · 2026-10-12
- AI 配音系列《When Sand Speaks》开更:从石器时代讲到硅芯片 — projectforty2 · 2026-10-12