用对抗损失训练图像模型
Ok-Constant8386 · reddit · 2026-07-15
作者分享了一个把 **Krea 2** 以 GAN 方式训练的实验，核心是用**纯对抗损失**替代扩散里的 MSE 损失，看看能否改善细节、纹理和清晰度。 ### 实验设置 - 数据集：`opendiffusionai/pexels-woman-solo` - 基座：先对 Krea 2 LoRA 做了 1 个 epoch 的 SFT - 生成了 500 张假图，再微调 **DINOv3 840M ViT** 做 patch 级 real/fake 判别 - 判别器不是看整图，而是把 **16×16 patch** 作为分类单位 - 训练中加入了 **DiffAugment**，并提到仍在调参、需要正则化 ### 训练思路 - 生成器先按随机 timestep schedule 生成图像 - 判别器对图像 patch 做真伪判断 - 生成器反过来尝试骗过判别器 - 判别器训练时使用真实图像、以及经过 VAE 编解码后的图像，以减少 VAE 偏差 - 为平衡对抗过程，判别器每步更新，生成器每 3 步更新一次 ### 作者的判断 他认为扩散模型里的 MSE 目标容易让模型学到“平均像素值”，从而损失细节、纹理并导致发糊；引入对抗损失有机会改善这一点。当前结果仍属**实验性**，但作者认为在大规模训练和更多消融之后，这条路线可能有助于提升真实感、风格学习和整体质量。