微软提出 GFlowRL 扩展推理模型
dair_ai · x · 2026-07-17
微软新论文讨论了如何把 **GFlowNet 风格的分布匹配强化学习** 扩展到大规模推理模型。 作者指出，GFlowNet 类方法的优点是：它不是把奖励压到单一最优路径上，而是让模型学习“奖励分布”，从而鼓励多样化的推理轨迹。但当模型变大、rollout 变长、奖励噪声变强时，原本需要学习的 prompt 条件 partition function 会带来梯度不稳定和额外工程复杂度。 论文提出的 **GFlowRL** 直接去掉了这个学出来的 partition function，改用训练过程中已经产生的 rollout group 做 **in-batch Monte Carlo 估计**。作者声称，这样可以降低工程负担，并让方法更适合大规模推理模型训练。