GPS让RL后训练更省算力
机器之心 · wechat · 2026-07-11
这篇工作提出 GPS（GeneralizablePredictivePromptSelection），目标是在 RLVR 后训练中减少昂贵的 rollout 成本，同时保持甚至提升推理能力。
核心思路
- 先训练一个小型的 Prompt Predictive Model（PPM），预测不同 prompt 在当前模型下的难度。
- 再结合“中等难度更有训练价值”和 batch 多样性，挑选更值得训练的样本，而不是随机采样。
- 训练过程中引入全局的 difficulty context，让难度预测可以复用整个优化历史，而不是只给单题单独记账。
主要结果
- 相比随机采样，训练步数加速 1.4×–2.0×。
- 相比需要真实额外评估的 DS/DSOracle，最多减少 69% rollout 成本，训练时间减少 28%–47%。
- 在数学推理和逻辑推理任务上，性能达到或超过强基线，同时更省算力。
额外发现
- 这个 PPM 不只适用于训练，也能在测试时做 计算预算分配：给更值得算的题分配更多 Best-of 采样。
- 在固定预算下最高可带来 3.2% 提升，或在性能不降的情况下节省 36.4% 推理计算。
实验范围
- 数学推理：DeepScaler、MATH500、OlympiadBench、MinervaMath、AMC23、AIME24 等。
- 逻辑推理：CountdownNumberGame、CD34、CD4 等。
- 兼容 GRPO、PPO、Reinforce++ 等多种 RL 后训练流程。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11