不必跑完每条轨迹:AC2 用 critic 给动作块打分,解码算力省 2.5 倍

Trust the Critic More

Kaiyue Wen, Luke Bailey, Arvind Mahankali, Tengyu Ma

cs.LG, cs.AI

2026-09-30

斯坦福 AC2 让 critic 给 1 万 token 动作块打分、不再等终点奖励,Qwen3-4B 训练解码算力省 2.5 倍,峰值 20.57% 超 GRPO 的 18.50%。

这篇在解决什么

GRPO 这类主流 RLVR 方法把一整条 rollout 当成单个动作:证明推理到 5 万 token,判分器在终点给一个总分,轨迹里每个 token 领同一份 advantage。一条证明最后一步才算错,前面全对也照样被罚。信用粗之外,更大的代价在算力:每条轨迹必须跑到终点才有奖励,而长推理的训练开销几乎全花在解码上。

Actor-critic 本来是教科书解法,学个 value function 给中间状态打分即可。但社区的共识是学出来的 critic 不够准,直接拿来算 advantage 会带偏策略,近一年的工作即便训了 critic 也只当降方差的 baseline 用。这篇斯坦福的工作正面问了一句:critic 到底能信到什么程度。

方法

AC2(Actor-Critic with Action Chunking)把「信 critic」做成按问题切换的开关,每步流程:

从存完整轨迹的 replay buffer 里采样,在随机位置切出前缀 s,从 s 续写一组 g=16 个动作块,每块最多 1 万 token
critic 给每块结束状态打分,advantage 等于该分减组均值。这是 GAE 的 λ=0 形式,完全靠 value function、不需要终点奖励;论文自称是 LLM RLVR 里第一个用 λ=0 的方法
critic 与 policy 共享参数,没有单独 value head,靠 prompt 问答实现:输入问题和部分回答,模型在 0 到 1 网格上吐一个分

三个设计让 critic 的分变得可信:

local readiness:critic 准不准按问题单独判断,最近若干步平均误差低于全局阈值、上次采样误差低于更紧的局部阈值、且该问题被解出过至少一次,三条全满足才切到 critic 打分,否则照旧跑完拿真实奖励。全局达标不代表每个问题都达标,消融证明这个局部判断必需。
参考解注入:问题此前被解出过,就把正确解放进 critic 的 prompt,带参考解时误差在每个检查点都更低。
块要够大:1 万 token 的块给 critic 足够上下文判断推理质量,2 千 token 的块判不准,训练后期掉分。

已就绪的问题里保留 1/4 继续跑完整轨迹(auditing),持续监控 critic 误差,也给 critic 提供以真实奖励为目标的训练信号。

结果

Qwen3-4B-Thinking-2507 在 FineProofs-RL(约 5200 道奥数证明题)上训练,IMO-ProofBench(60 道题,DeepSeek-V4-Flash 按 0 到 7 打分)上评测:

方法	峰值得分	达到 GRPO 峰值所需解码 FLOPs
GRPO	18.50%	1.99e20
AC2	20.57%	0.79e20

2.5 倍效率差来自两处:步数少 25%(90 步对 120 步),每步也不再需要把每条轨迹跑完。对照 Prefix GRPO 用同样的前缀、仍跑完整轨迹拿终点奖励,明显落后于 AC2,增益不能全归于前缀状态分布。全局就绪阈值在第 7 步末首次达标,200 步时约 70% 的问题已交给 critic 打分。

消融把组件必要性拆开:去掉 local readiness,40 步时 13.10%,保留组件的对照 15.33%;chunk 降到 2 千,峰值停在 16.62%,120 步跌到 13.57%;buffer 只存高分轨迹,60 步时领先(17.35% 对 16.88%),110 步反跌到 14.67%。去掉 auditing(峰值 18.66%)、用高度陈旧的 replay buffer(17.90%)、组大小降到 1,这三个变体都站得住。

机制诊断:第 80 步,组均值对真实平均奖励的 MAE 是 0.065,单点前缀预测是 0.211;critic 版 advantage 与终点奖励版 advantage 的 Pearson 相关只有 0.388,谈不上精确,方向够用。

为什么重要

长推理 RL 的瓶颈在解码,一条 5 万 token 轨迹的算力几乎全花在生成上。AC2 证明更新策略不必等每条轨迹跑完,2.5 倍解码节省是能直接换算成 GPU 小时的数字。更大的价值在设计空间:不依赖终点奖励后,陈旧轨迹的前缀可以做 off-policy 训练,作者还设想在动作块上做 beam search 甚至 MCTS,这些在现有 RLVR 框架里做不了。方法不绑定证明任务,别的长推理场景同样适用。

局限与存疑

作者点名的最大限制:local readiness 需要对训练集做多个 epoch,因为要周期性跑完整轨迹测 critic 在每个问题上的误差,大规模单 epoch 的常规场景下这套机制不成立,怎么迁移是留白的 future work。

另有几点:只在 Qwen3-4B 和一个证明数据集上验证,更大模型、其他领域未测;评测靠 LLM judge 打分,judge 自身噪声没有量化;峰值对比出自 60 道题,论文未报告方差;2.5 倍是解码 FLOPs 口径,critic 给每个续写打分同样要做前向,这部分开销如何计入没有单独交代。

术语

RLVR:可验证奖励的强化学习,用规则判分器(答案对错、证明是否成立)当奖励训练 LLM
critic(value function):价值函数,估计从中间状态接着写下去最终能拿多少奖励
advantage:优势值,一个动作比平均好多少,决定策略梯度的方向和幅度
GAE λ:广义优势估计的衰减参数,λ=1 完全信终点奖励,λ=0 完全信 value function
action chunk(动作块):一段连续 token 当成一个动作单元分配信用,粒度介于单 token 和整条轨迹之间
replay buffer:存历史完整轨迹的回放缓冲区,训练可从中途状态重启

原文与代码

社区讨论

AC2 动作分块批评家方法：RL 训练省 2.5 倍解码算力超 GRPO srush_nlp