上海AI实验室提出S3AC：免分组rollout的actor-critic长推理训练

Shanghai-AI-Laboratory · hf · 2026-10-27

上海AI实验室论文 S3AC 提出：现有 RLVR 长链推理多依赖无 critic 方法（如 GRPO 用分组 rollout 估计 prompt 级 baseline），缺少 token 级 credit assignment，且分组 rollout 需等待组内最慢响应；单 rollout 替代方案（REINFORCE++、FlashREINFORCE）用 batch 统计，无法区分 prompt 难度差异。长 CoT critic 训练则受限于轨迹长度覆盖不足与新初始化 critic 主导的早期梯度。S3AC 引入稳定的 actor-critic 训练方法，结合难度感知的 prompt 采样，在不依赖分组 rollout 的情况下提升 LLM 长推理能力。