中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理

ustc-community · hf · 2026-10-15

中科大与科大讯飞团队发布 VASPO(Value-Augmented Self-Distillation Policy Optimization),在 PPO 内嵌入自教师模型与 critic,将 token 级优势与有界概率比结合,提升推理能力。

论文指出在策略自蒸馏虽能提供密集监督信号,但该信号反映的是局部 token 偏好而非无引导续写的期望回报;与 GRPO 结合的近期方法存在信号放大问题。VASPO 通过更有效的 PPO 内整合方式(自教师+critic+可验证奖励)解决互补定位问题,在数学基准上提升了准确率。