RL 训练扩散模型长文：DPO 只能比较优劣，奖励函数才能定位错误
kastnerkyle · x · 2026-11-03
Anvilarth 博客发布《RL for Diffusion Models: Part 1》（约 27 分钟长文），系统讲解为什么偏好优化之后还需要 RL。
- DPO 的两个弱点：模型容易漂移出预训练分布，需要用 winner 图像 SFT 或 ThermoDPO 等方法拉回；更重要的是，一对胜负样本只说明「这张比那张好」，不告诉模型错在哪里——比如要求画四个杯子却画了三个，配对数据无法让模型理解错误出在计数上。
- 奖励可以定位错误：用检测器数杯子数量、OCR 检查招牌文字、单独模型打美学分、检查手部解剖结构——凡是能打分的任务都能作为 reward 优化。
- 文章假设已有可用 reward model，重点讲解如何更新生成器使其更频繁拿到高奖励，是扩散模型 RL 系列的上篇。
「多模态」频道最新
- Synthesia 推出 ChatGPT 插件:一句话或一份文档直接生成成片视频 — alexvoica · 2026-11-03
- 4090 跑 HunyuanVideo 1080p 每段多花 50 分钟,元凶是共享显存回退 — Suspicious_Pizza9529 · 2026-11-03
- GPT image 2.0 实测：一张提示词把咖啡照变成等轴测门店插画 — op7418 · 2026-11-03
- 17 秒 AI 汽车广告幕后：先写故事，再分镜，最后才生成 — EdenMakers-ai · 2026-11-03
- AI 时尚换装视频后期工作流：用 CapCut 多轨时间线卡点转场 — Aiden_Tech_Ai · 2026-11-03
- 6GB 显存跑 MiniMax H3 视频生成:低分辨率生成为 1080p 的 ComfyUI 工作流 — cgpixel23 · 2026-11-03