清华腾讯提出GPS优化推理训练

jiqizhixin · x · 2026-07-19

清华大学和腾讯研究者提出 GPS（Generalizable Predictive Prompt Selection），用一个轻量预测模型基于共享训练历史，先估计 prompt 难度，再优先挑选中等难度且保持多样性的样本，来引导大模型的强化学习后训练。

论文声称，这种做法能减少昂贵的 trial-and-error rollout，在多个推理基准上优于强基线，同时提升训练效率、最终性能和测试时速度。配图给出了完整训练流程：难度预测、批次选择、生成与奖励计算、RLVR 更新，以及历史与 PPM 参数更新。