DeltaTTG:用「剩余 Token 数」进度表训练多轮 Agent,超 GRPO 7.2 分

RUC-AIBOX · hf · 2026-10-14

南洋理工团队提出 DeltaTTG,解决多轮 agent RLVR 中稀疏终局奖励难以指导各步的问题。方法训练一个共享「进度表」(frozen meter),其监督目标 Token-to-Go(TTG)——距任务完成还需生成的 token 数,作为剩余工作量的可观测代理。监督来自多策略记录轨迹的低成本数据,无需任务特定规则。训练时冻结的进度表估计变化会在各步之间重新分配结果优势,不改变奖励本身,保持优势符号与 token 平均规模。

在 ALFWorld、PaperSearchQA、BFCLv3 上,Qwen3-4B 与 Llama-3.1-8B-Instruct 平均分比 GRPO 提升 5.7 与 7.2 分,优于所有对比 RL 基线,GPU 时长接近 GRPO;样本效率与域外性能更优,且进度表能区分步骤质量、指导测试时动作选择。代码开源。