字节 Seed 提出 RWTD:一步生成模型后训练,GenEval 0.73→0.80
ByteDance-Seed · hf · 2026-10-02
字节跳动 Seed 团队提出 Reward-Weighted Transport Distillation (RWTD),一种只需生成样本和标量奖励评估的一步生成模型后训练方法:
- 难点背景:一步生成器既无可解 likelihood 也无去噪轨迹,且很多奖励不可微,常规后训练难以进行
- RWTD 不只对齐传统的 reward-tilted 参考分布,而是构造混合「当前分布」与「参考分布」的自适应目标——当前分量纳入训练中发现的新改进,参考分量锚定预训练生成器以防遗忘
- 通过特征空间最优传输与不动点回归实现该目标;理论分析表明其不动点分布在 off-policy 与 on-policy 奖励倾斜之间插值
- 实验上将一步 SANA Sprint 1.6B 的 GenEval 从 0.73 提升到 0.80,偏好对齐实验显示跨奖励泛化,组合能力得以保留
「多模态」频道最新
- Qwen 图像 2.1 与 Minimax H3 实测:老照片修复与写实化转换 — Ant_6431 · 2026-11-16
- Minimax H3 视频生成演示:Cubee 店面镜头第二版 — JahJedi · 2026-11-16
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Minimax H3 Image 训练人物 LoRA 相似度差,同数据集在 Qwen 2.1 上表现优异 — Ad_Organic · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16