PACT: From Credit Assignment to Critic Alignment
Jiayan Fu, Hang Xu, Yong Zhang, Zhaokai Luo, Yao Hu, Dongyan Zhao, Mu Chuan
cs.LG, cs.AI
2026-09-22
三条正则条件把token级credit唯一写成相邻条件期望之差。PACT先更新策略再用重要性校正对齐critic，Qwen3.5-4B四项数学平均72.87%，比GRPO高8.80个百分点，SWE-bench Verified为67.4%。
大模型强化学习常常整条轨迹结束后才给一个结果奖励，更新却打在每一个生成 token 上。谁该为最后的对错负责，没有公认的数学定义。PPO 用 GAE 估优势，GRPO 和 RLOO 用同题多样本做组内基线，On-Policy Distillation 用教师的 log 密度比当密集信号。这些量看起来都在做 credit assignment，彼此却对不上。
更麻烦的是长轨迹。结果奖励有界时，大部分 token 的真实 credit 很小，中间 critic 的误差可以盖过信号。DeepSeek-R1 把 PPO 的 λ 调到 1 比 0.95 更好，和这个观察一致。常规 PPO 还有一层错位：算优势时用的 critic 是上一轮策略训出来的，actor 更新完，critic 又落后一轮。
论文先给 token 级 credit 三条正则条件。Completeness：所有 token credit 之和等于最终奖励减去开局预测。Prefix Consistency：同一前缀的累计 credit 不随未来 realization 改写。Neutrality：下一步 credit 在当前信息下期望为零。这三条唯一确定 credit 为相邻条件期望之差：Ci = E[R | Fi] − E[R | F{i-1}]，是鞅差。更粗的粒度，比如按轮切，只是把相邻 token 加总。
用这把尺看现有算法。理想教师下，OPD 的期望策略梯度与唯一 credit 成正比，教师相当于隐式 critic。RLOO 的回复级基线虽然更粗，期望策略梯度贡献与 token 级 credit 相同，方差通常更大。有界奖励下，credit 平方和的期望不超过 1/4，多数局部增量很小。GAE 在 λ < 1 时会把中间 critic 误差留在优势里；λ = 1 只剩前缀价值误差。PACT 因此固定 λ = 1。
Policy Aligned Critic Training 做两处改动。critic 用 sigmoid 参数化，目标从 MSE 换成 BCE，最优预测仍是条件期望，端点更稳。更新顺序改成 Actor-then-Critic：本轮先用当前 critic 更新 actor，再对同一批 rollout 做一次前向，用更新前后的重要性比率把奖励改写成 It R，拿去训对齐新策略的 critic。实现里用当前 token 的 detached 比率，并丢掉落在 [0, 6] 之外的样本，避免长回复下连乘爆炸。
数学推理在 Qwen3.5-4B 上，用 OpenCode 智能体、最终答案对错做奖励，训练集是 DAPO-Math-17k 里 3200 题。Avg@16：
| 方法 | AIME 2025 | AIME 2026 | BeyondAIME | HMMT Nov. 2025 | 平均 |
| Base | 46.67 | 51.25 | 28.63 | 37.50 | 41.01 |
| GRPO | 76.50 | 74.78 | 41.81 | 63.19 | 64.07 |
| PPO (λ=1.0) | 66.04 | 73.96 | 40.31 | 58.54 | 59.71 |
| PACT w/o IS | 76.04 | 82.50 | 51.38 | 61.04 | 67.74 |
| PACT | 83.12 | 85.21 | 51.69 | 71.46 | 72.87 |
PACT 平均 72.87%，比 GRPO 高 8.80 个百分点，比 PPO (λ=1.0) 高 13.16，比 SAO 高 21.73。PPO 在 λ=0.95 时平均只有 26.31%，训练中发生策略崩塌。去掉 critic 目标上的重要性校正，平均掉到 67.74%，四个基准都更差。
SWE-bench Verified 上训练 Qwen3.6-35B-A3B，Pass@1：Base 60.8，GRPO 65.4，PPO 65.0，SAO 63.6，PACT 67.4。固定策略的 critic 预训练里，BCE 比 MSE 收敛更快，正负样本的价值间隔也更大。
组内基线方法省掉 critic，换来的是回复级噪声。这篇把「token 级 credit 应该是什么」写成可证的唯一表示，并指出 OPD 的教师、RLOO 的基线，都是同一对象的不同近似。工程上，Actor-then-Critic 只多一次前向、不再 rollout，就能把 critic 接到更新后的策略上。做长程 agentic RL、还在用价值网络的人，λ=1 加 BCE 加一次 IS 校正，是比再调 λ=0.95 更靠谱的默认。
唯一性依赖于那三条正则条件，换条件会得到别的 credit。这里的 credit 是统计量，不是「把这个 token 换成另一个」的因果效应。论文也承认没有解决如何在真实 LLM RL 里精确估计这个量。重要性比率用单 token 近似，并硬裁剪，长回复下仍可能偏。数学和代码各只报了一组模型与环境，未见跨家族复现。