GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling
Guangting Zheng, Yiyuan Zhang, Tao Yang, Yunpeng Chen, Rui Zhu, Jiajun Deng, Yanyong Zhang
cs.CV
2026-08-29
字节Seed把端到端潜空间塌缩归因于先验-熵失衡，用先生成后重建训练：EiT在ImageNet 256上带引导gFID 0.97，文到图GenEval 0.90。
潜空间生成几乎都是两段式：先训一个为重建优化的 VAE，再把生成器冻在这套潜变量上。重建爱留实例细节，分布被撑得很散，生成器不好拟合。端到端联合训练看起来对症，REPA-E 已经试过把扩散梯度回传到 VAE，潜空间会塌。冲突还有一层：重建学得快、监督强，生成要拟合全局分布、学得慢，一上来就把重建压得很死，编码器会先锁进重建友好、生成不友好的几何。
字节 Seed 和中科大把塌缩诊断成先验拟合和后验熵的失衡，再把训练顺序改成先生成、后重建。
标准 VAE 的 KL 可以拆成先验拟合项减后验熵。LDM 配方里 KL 权重常到 10⁻⁶，只当弱正则。一旦加上很强的生成先验损失，先验拟合远大于熵，后验方差被压向零，不同图的均值还挤到同一个码上，这就是塌缩。他们把目标改成显式保留熵：重建、LPIPS、GAN 照旧，先验损失和 −H(q(z|x)) 成对出现，默认 λent = λprior。
顺序叫 GenFirst。第一阶段用较大的先验（和熵）权重，让生成器先把潜空间塑成好采样的形状；第二阶段把这两个权重降下来，让重建补细节。这和余弦退火、PI 自适应调权不是同一件事：调的是谁先塑造几何，不是全程抢同一个权重旋钮。连续自回归先验（EAR，来自 FARMER，似然可精确计算）和 SiT 流匹配（EiT）都用这套菜谱。SiT 另外留 10⁻⁶ 的标准 KL，只用来卡住潜变量尺度，防去噪捷径。
朴素端到端在 EAR 和 SiT 上都会塌；加上熵和 GenFirst 之后，EAR 的 gFID 从冻结 VAE 的 36.33 降到 5.10（无引导）。把这个端到端 VAE 冻住再训新先验，EAR 为 5.67，SiT 从 7.90 降到 3.57。固定权重、余弦、PI 自适应都打不赢 GenFirst：带 CFG 的 gFID 分别是 3.04、5.45、数值崩溃，对 GenFirst 的 2.10。
ImageNet 256×256 主表：EiT 在 480 epoch、675M 参数下带引导 gFID 0.988，800 epoch 无引导 1.45、有引导 0.969。文中称这是无需 CFG 的扩散模型首次进入 gFID < 1。REPA-E 同设置有引导 1.12。EAR 只用 312M 参数，带引导 2.10，低于 GIVT 的 2.59 和 FARMER 的 3.60。512×512 上 EiT 400 epoch 到 1.23。文到图：1.3B 的 EiT 在 GenEval 到 0.90、DPG-Bench 82.60，换 Qwen3-1.7B 文本编码器后 DPG 到 84.65。收敛也快：100K step 无引导 FID 6.91，150K 到 4.97，相对 SiT 和 REPA 的最终结果分别少用至少 70× 和 26× 步数。
代价写在重建上。EAR 设定里 PSNR 从冻结 VAE 的 26.18 降到 21.93，rFID 从 0.53 升到 1.26。FLUX.1-dev 初始化的端到端 VAE：rFID 0.18→0.23/0.21，PSNR 31.59→29.43/29.37。
对训 tokenizer 和潜空间生成器的人，这篇把「端到端会塌」从玄学改成一项可改的目标失衡，并给出一个能在精确似然和隐式似然先验上复用的两阶段顺序。数字说明潜空间一旦对生成友好，后面的先验收敛会快一个数量级以上。
这不是免费午餐。重建确实让步，EAR 的 CFG 还跟不上 gFID 的改善。文到图的数据量也小于 FLUX.2 那一档。适合已经在做潜空间生成、愿意为采样质量牺牲一点 PSNR 的训练配方。
作者自己列了三条：生成-重建权衡没有消失，PSNR 仍在买单；EAR 放大后无引导 gFID 变好，带 CFG 的分数不对齐，连续自回归的引导还弱；文到图的数据和预算明显小于大规模系统。主表里「无需 CFG 的扩散首次 gFID<1」依赖他们的评测设定，跨论文 FID 本来就对预处理敏感。SiT 路线在端到端阶段之后仍要冻 VAE 再训很长的先验-only，完整账单不是「只跑 80 个 epoch」。REPA 在先验-only 阶段仍然加分（FID 6.83→3.57），端到端没有把表示对齐变多余。