字节 Seed 新论文：扩散模型全程轨迹拿奖励，GPU 训练省 60%

andrew_n_carr · x · 2026-08-29

字节跳动 Seed 团队发布 DiffusionOPSD（On-Policy Self-Distillation in Diffusion Models），解决了扩散模型 RL 训练的核心痛点：传统奖励只在整个图像解码完成后给出，中间去噪步骤得不到监督信号。

方法：

• 冻结的行为策略生成轨迹，提供低噪声查询状态和干净输出锚点；
• 把图像级奖励归一化为奖励上升/下降，在有界的干净输出半径内构造正负目标；
• 可训练策略拟合 detach 的目标，再用 EMA 刷新行为策略，循环迭代。

效果：在 SD3.5-M 和步蒸馏的 Z-Image-Turbo 上做了大量消融，覆盖十个评测器与奖励专项/联合训练设置；在奖励匹配实验中拿到最佳 held-out 分数，且比 DiffusionNFT 少用约 60% 训练 GPU 时。论文与代码均已公开。

原文链接 →

「研究」频道最新

• DeepPhylo 用深度学习推断系统发育树，摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
• Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
• CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
• CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
• 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
• Benchling 发布 Science Foundries：智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15

更多「研究」频道 AI 资讯 →