NTU 提出 DeltaTTG：用 Token-to-Go 进度计为多轮 Agent 强化学习重分配优势
NanyangTechnologicalUniversity · hf · 2026-10-14
DeltaTTG：给多轮 Agent 的 RLVR 加一个可复用的进度信号
问题背景：基于可验证奖励的强化学习（RLVR）训练多轮 agent 时，只有稀疏的终局奖励，无法反映单个步骤的好坏。组内步骤对比依赖可靠的状态匹配和足够多样的采样结果，直接给步骤打分又需要昂贵的外部评估器、人工标注或任务特定启发式。
核心方法：
- 引入共享的进度计（progress meter），从多种策略录制的轨迹中学习，无需任务特定的进度规则，监督成本很低
- 监督目标是 Token-to-Go (TTG)：距任务完成还需生成的 token 数，作为剩余工作量的可观测代理
- Actor 训练期间冻结进度计，其估计值的变化把终局奖励推导出的 advantage 重新分配到各步骤，但不改变奖励本身，保持每条轨迹的 advantage 符号和 token 平均尺度
实验结果：
- 在 ALFWorld、PaperSearchQA、BFCLv3 上，用 Qwen3-4B 和 Llama-3.1-8B-Instruct 相比 GRPO 平均提升 5.7 和 7.2 分，平均优于所有对比 RL 基线
- Actor 训练 GPU 时长与 GRPO 相当
- 额外实验显示样本效率和域外性能提升，并验证进度计能区分步骤质量、在测试时引导动作选择
代码已开源：https://github.com/Xuyan923r/DeltaTTG
所属事件:NTU提出DeltaTTG：用进度计优化多轮Agent强化学习(2 条相关)→
「编程与Agent」频道最新
- 实测 Hermes Agent 接入 n8n:让 Agent 直接执行自动化工作流 — techlatest_net · 2026-10-23
- OpenAI 建议 MCP 服务器指令控制在约 1000 字符内防截断 — bibryam · 2026-10-23
- OpenAI 数据：仅约 56% 的 MCP 服务器提供了 instructions 字段 — bibryam · 2026-10-23
- OpenAI 建议 MCP 工具勿藏在调度器后，应逐一暴露清晰动作 — bibryam · 2026-10-23
- Resend 单月 100 万次 MCP 调用,OpenAI 视 MCP 为分发渠道 — bibryam · 2026-10-23
- MCP Elicitation 落地 Claude:服务器可在执行中向用户提问 — bibryam · 2026-10-23