腾讯混元发布FewStepRL:用强化学习微调少步扩散模型的新框架

Tencent-Hunyuan · hf · 2026-11-10

腾讯混元联合西湖大学等发布 FewStepRL,系统解决少步扩散模型的强化学习后训练问题。现有 RL 目标为多步采样器的瞬时速度设计,而少步模型建模的是区间平均速度,直接套用并不合适。

论文通过三步改造——x 空间变换、梯度分解、锚点适配——将多种主流 RL 方法改造成模块化的少步变体,并发现:可微奖励下 reward-gradient 类方法表现更优,而 DiffusionNFT 风格的方法能以更少迭代达到高奖励,显著降低后训练成本。