人大 TIPS:仅用结果奖励 RL 训出过程奖励模型,3.2K 数据达 ProcessBench 85.2 F1
RUC · hf · 2026-10-12
要解决的问题
过程奖励模型(PRM)对 LLM 的后训练和测试时推理都很关键,但训练强 PRM 成本高:人工步骤标注难以规模化,Monte Carlo 估计计算昂贵且可能偏离步骤的真实正确性。
TIPS 方法
人大等机构提出 TIPS(Thinking-Induced Process Supervision),一个只用结果奖励的 RL 框架来训练生成式 PRM:模型生成 CoT 后输出步骤级标签和结果标签,reward 只看预测结果是否匹配 ground truth,用组相对优势优化整个回复。直觉是:当检查中间步骤有助于判断最终结果时,更准确的检查会带来更好的结果判断和更高奖励,从而无需显式过程监督即可强化步骤级验证。
结果
- 在数学和 agent 基准、四个骨干模型家族上验证有效
- TIPS-Qwen3-4B-Thinking-2507 仅用 3.2K 条结果标注轨迹,在 ProcessBench 达 85.2 F1,超过所有已训练 PRM 和 GPT-5.4-Instruct、Claude-4.7-Opus 等 prompt-only 判官,仅落后 o1-mini
- 代码和数据已开源
「研究」频道最新
- NeurIPS 会前工作坊 CL4SM 征稿：让科学建模尊重物理定律 — cici118 · 2026-10-12
- Adobe 提出时序信用稳定法,短序列训练泛化长上下文 — burkov · 2026-10-12
- 将 500MB RoBERTa AI 文本检测器压缩到 97MB,纯浏览器端运行 — Alternative_Detail31 · 2026-10-12
- PwC 论文阅读体验升级：加载更快还支持章节跳转 — NielsRogge · 2026-10-12
- Work2Skill 从人类 GUI 演示提炼可复用 Agent 技能,评测全面领先 — nex-agi · 2026-10-12
- 500 小时视触觉数据集 TouchScale:机器人操作成功率 22.5%→57.5% — 2077AIDataFoundation · 2026-10-12