GPS让RL后训练更省算力
机器之心 · wechat · 2026-07-11
这篇工作提出 GPS（GeneralizablePredictivePromptSelection），目标是在 RLVR 后训练中减少昂贵的 rollout 成本，同时保持甚至提升推理能力。
核心思路
- 先训练一个小型的 Prompt Predictive Model（PPM），预测不同 prompt 在当前模型下的难度。
- 再结合“中等难度更有训练价值”和 batch 多样性，挑选更值得训练的样本，而不是随机采样。
- 训练过程中引入全局的 difficulty context，让难度预测可以复用整个优化历史，而不是只给单题单独记账。
主要结果
- 相比随机采样，训练步数加速 1.4×–2.0×。
- 相比需要真实额外评估的 DS/DSOracle，最多减少 69% rollout 成本，训练时间减少 28%–47%。
- 在数学推理和逻辑推理任务上，性能达到或超过强基线，同时更省算力。
额外发现
- 这个 PPM 不只适用于训练，也能在测试时做 计算预算分配：给更值得算的题分配更多 Best-of 采样。
- 在固定预算下最高可带来 3.2% 提升，或在性能不降的情况下节省 36.4% 推理计算。
实验范围
- 数学推理：DeepScaler、MATH500、OlympiadBench、MinervaMath、AMC23、AIME24 等。
- 逻辑推理：CountdownNumberGame、CD34、CD4 等。
- 兼容 GRPO、PPO、Reinforce++ 等多种 RL 后训练流程。
「Infra」频道最新
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- 重写后的蒸馏 SDK 每次调用开销降低 5–100 倍,包体积缩小 2–6 倍 — samgoodwin89 · 2026-10-27
- 导入全部 438 个 AWS 服务:内存从 227MB 降至 13.9MB,提速 11 倍 — samgoodwin89 · 2026-10-27
- Alchemy 全部约 2850 个 AWS binding 现已跨云可用 — samgoodwin89 · 2026-10-27
- 推理服务商自造挤利润的市场：出路只有每 GPU 小时榨出更多 token — AccBalanced · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27