GPS让RL后训练更省算力
机器之心 · wechat · 2026-07-11
这篇工作提出 **GPS（GeneralizablePredictivePromptSelection）**，目标是在 RLVR 后训练中减少昂贵的 rollout 成本，同时保持甚至提升推理能力。 ### 核心思路 - 先训练一个小型的 **Prompt Predictive Model（PPM）**，预测不同 prompt 在当前模型下的难度。 - 再结合“中等难度更有训练价值”和 batch 多样性，挑选更值得训练的样本，而不是随机采样。 - 训练过程中引入全局的 `difficulty context`，让难度预测可以复用整个优化历史，而不是只给单题单独记账。 ### 主要结果 - 相比随机采样，训练步数加速 **1.4×–2.0×**。 - 相比需要真实额外评估的 DS/DSOracle，最多减少 **69% rollout 成本**，训练时间减少 **28%–47%**。 - 在数学推理和逻辑推理任务上，性能达到或超过强基线，同时更省算力。 ### 额外发现 - 这个 PPM 不只适用于训练，也能在测试时做 **计算预算分配**：给更值得算的题分配更多 Best-of 采样。 - 在固定预算下最高可带来 **3.2%** 提升，或在性能不降的情况下节省 **36.4%** 推理计算。 ### 实验范围 - 数学推理：DeepScaler、MATH500、OlympiadBench、MinervaMath、AMC23、AIME24 等。 - 逻辑推理：CountdownNumberGame、CD34、CD4 等。 - 兼容 GRPO、PPO、Reinforce++ 等多种 RL 后训练流程。