新研究：先净化再对齐，去掉局部相关信息反而提升扩散模型

LucaAmb · x · 2026-10-25

扩散模型研究「Purify Before You Align」提出一个反直觉结论:表示中信息更多并不总是更好,移除局部可预测的强相关信息,能让模型聚焦更弱的长程相关性,从而显著改善扩散模型的对齐效果。Sander Dieleman 认同这一直觉,并指出它与他 2019 年与 DeepMind 同事发表的层级自回归图像模型(辅助解码器/masked self-prediction)思路一脉相承:先抽象掉局部细节,再在更抽象的表示上建模,可获得大尺度一致性更好的生成结果。