厦大与南洋理工推出 SAPO：无需独立 Critic 的 Agentic RL 框架

heghbalz · x · 2026-10-30

厦门大学与南洋理工团队发布 SAPO（Single-Rollout Autoregressive Policy Optimization），针对 PPO 在长程 agent 任务上需单独 LLM critic、开销过大的问题，提出利用 LLM 自回归结构本身做价值估计：动作前的 next-token logits 读出 V(s)，动作完成后以 s+a 为条件的 logits 读出 Q(s,a)，同一个因果模型在一次反向传播中联合优化策略与价值。框架只需单条 rollout、无需同任务 rollout 组，在相同采样预算下性能与 PPO 持平并显著优于 GRPO，资源消耗大幅降低。论文与代码已开源。