TPPO 改进 PPO 价值估计,数学推理最高提升 8.4 分

Futing Wang · hf · 2026-10-14

TPPO(Tracking-Value PPO)针对 PPO 在稀疏终局奖励下 critic 难以追踪轨迹内价值演化的问题。作者分析相邻前缀值之间的关系,证明其在 log-odds 空间中具有贝叶斯分解的加性更新结构,据此构造累积价值参数化:将逐位置标量输出求和为价值 logits,通过终局结果监督学习。

效果:Qwen3-4B-Base 与 Qwen3-8B-Base 上数学推理总分比 PPO 分别提升 7.0 与 8.4 分,分布外泛化更好;增益扩展至 Qwen3-4B、Qwen2.5-Math-1.5B、Qwen3.5-9B 及 countdown、科学编码任务。分析显示价值演化追踪更准、优势估计更可靠。代码已开源。