PRFL：潜在空间过程奖励反馈加速视频生成对齐

arXiv 论文《Video Generation Models Are Good Latent Reward Models》(2511.21541) 提出 PRFL（Process Reward Feedback Learning）框架：不做 VAE 解码、直接在潜在空间对扩散去噪过程施加奖励反馈，从而加速视频生成模型的对齐训练。博主 @gowthamis 在系列帖子中解读了该方法的训练细节、消融结果与评测表现。

已确认

• 奖励模型训练方式：奖励标签仍来自人工评分的成品视频，但会对成品加随机 timestep 的噪声，训练打分器预测同样的好/坏运动质量标签，因此不需要逐步标注；训练时先冻结打分器，rollout 生成器后在采样过程中的某个阶段施加奖励。
• 消融结果：在相同奖励模型下比较只训早期去噪步、只训后期步与跨全轨迹采样三种策略，在 100 条 prompt 测试集上 early-only 在运动质量上优于 late-only；整体上全轨迹奖励采样在动作与解剖两方面均为最优。
• 评测数据：PRFL 在 Wan2.1-14B 的 480p 与 720p 上测试，人类对比中战胜 RGB ReFL 基线 67% 的次数。

尚未确认

• 评测仅覆盖 25 条 prompt，样本量偏小，67% 胜率的代表性存疑。
• 博主指出实验理解上的疑点：对方的 RGB ReFL 基线只在第一步（首帧）打分，这一设置可能对基线不利，对比是否公平存疑。
• 博主在讨论另一篇用 ReFL 训练视频生成模型的工作时指出，其缺少相同训练设置搭配不同全视频奖励模型的对比，无法分清多少收益来自生成器 backbone 本身；这一方法论缺口在同方向工作中普遍存在。

为什么重要

• PRFL 表明视频生成模型本身可作为潜在奖励模型，绕开逐帧 VAE 解码带来的开销，为扩散模型的对齐提供了更高效的反馈通路。
• 消融明确了奖励施加的去噪阶段选择（全轨迹优于早期或后期单独使用），对后续过程奖励研究有直接参考价值；但同时暴露出小样本评测与弱基线的公平性问题，提醒读者谨慎解读胜率数字。

2026-10-17 ~ 2026-10-17 · 5 条相关

• 【源头】PRFL:免 VAE 解码的潜在空间奖励反馈，视频生成对齐提速 — gowthami_s · 2026-10-17
• 【源头】PRFL 细节：用成品视频打标加噪训练奖励模型，无需逐步标注 — gowthami_s · 2026-10-17
• 【源头】PRFL 人类评测赢 67%,但基线仅用首帧打分被质疑不公平 — gowthami_s · 2026-10-17
• PRFL 消融实验：全阶段奖励反馈优于只训早期或后期去噪步 — gowthami_s · 2026-10-17
• 视频生成论文消融:全轨迹奖励采样在动作与解剖上双优 — gowthami_s · 2026-10-17