视觉表征学习与生成建模走向统一:一篇持续更新的综述梳理四阶段融合

AllThingsApx · x · 2026-10-22

Kieran Didi 发布(并持续更新至 2026 年 9 月)的综述,系统梳理视觉表征学习与生成建模的合流:- 背景:从 Latent Diffusion 到 DINO/MAE 等自监督视觉基础模型的两条主线;- 四阶段地图:扩散特征对齐基础模型 → VAE 潜空间对齐 → 直接在基础模型特征空间中生成 → 质疑是否还需要预训练表征;- 反向流动:生成模型本身也是好的表征(从像素预测到嵌入预测),并延伸到分子机器学习的迁移;- 以速率、几何、频谱与鲁棒性四条线索横向对比各阶段。作者认为这是继 scaling 之后最值得关注的架构层趋势,文末附完整参考文献与引用条目。