kalomaze：扩散模型基线把去噪与理解强行绑在一起

kalomaze · x · 2026-07-23

他指出，绝大多数公开扩散模型基线都把两件本该分开的事强行绑在一起：一是“负责去噪的网络”，二是“负责深层/非平凡理解的网络”。

他的主张是：可以让一个便宜的去噪器，去条件化一个大模型输出的确定性向量，把真正昂贵的理解能力放在前面，去噪网络只做轻量工作。他认为这在引入 MoE 之前就已经有很大提升空间。帖子后半还顺带批评了扩散研究的评测文化：之所以这种做法能成立，部分原因在于大家长期盯着像 ImageNet FID 这类容易被“刷分”的代理指标，而不是更难作弊的任务构造。