用对抗损失训练图像模型
Ok-Constant8386 · reddit · 2026-07-15
作者分享了一个把 Krea 2 以 GAN 方式训练的实验，核心是用纯对抗损失替代扩散里的 MSE 损失，看看能否改善细节、纹理和清晰度。
实验设置
- 数据集：opendiffusionai/pexels-woman-solo
- 基座：先对 Krea 2 LoRA 做了 1 个 epoch 的 SFT
- 生成了 500 张假图，再微调 DINOv3 840M ViT 做 patch 级 real/fake 判别
- 判别器不是看整图，而是把 16×16 patch 作为分类单位
- 训练中加入了 DiffAugment，并提到仍在调参、需要正则化
训练思路
- 生成器先按随机 timestep schedule 生成图像
- 判别器对图像 patch 做真伪判断
- 生成器反过来尝试骗过判别器
- 判别器训练时使用真实图像、以及经过 VAE 编解码后的图像，以减少 VAE 偏差
- 为平衡对抗过程，判别器每步更新，生成器每 3 步更新一次
作者的判断
他认为扩散模型里的 MSE 目标容易让模型学到“平均像素值”，从而损失细节、纹理并导致发糊；引入对抗损失有机会改善这一点。当前结果仍属实验性，但作者认为在大规模训练和更多消融之后，这条路线可能有助于提升真实感、风格学习和整体质量。
「多模态」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- 翼龙侦探:全程 AI 生成的概念片先导预告亮相 — PterodactylDetective · 2026-09-11
- Imperium 游戏预告片曝光,AI 视频生成再秀肌肉 — keaslenyt · 2026-09-11
- FLUX.2 Klein 换表情易丢脸，实测不如免费版 Gemini 保真 — wacomlover · 2026-09-11
- 腾讯 AuK 语音模型开源代码与权重上线 GitHub,附 ComfyUI 支持 — aigclink · 2026-09-11