TRACE：长时序智能体奖励分配新法
SharonYixuanLi · x · 2026-07-19
TRACE 是一个面向长时序智能体的 turn-level 奖励分配方法，目标是解决仅用最终结果奖励时的信用分配难题。
核心思路是：在每个工具调用边界上，用一个冻结的参考模型衡量“到当前前缀时，金答案变得多可预测”，再把这种变化转成状态价值，并用 TD 变化给每一步互动分配正/负 credit。它不需要训练 critic、过程标签、Monte Carlo continuation，也不依赖强 LLM judge。
作者称，在纯 RL、没有 cold-start SFT / agentic mid-training / live-web data 的设置下，TRACE 显著提升长链路搜索能力：在 BrowseComp-Plus 上，Qwen3-4B 从 7.2 提升到 35.6，Qwen3-30B-A3B 从 8.4 提升到 42.6，后者已接近 Tongyi-DeepResearch-30B-A3B。控制模型、数据、工具和 outcome reward 一致时，TRACE 也优于 GRPO、GSPO 和 GiGPO。
所属事件:微软等提出TRACE：破解长程智能体信用分配难题(3 条相关)→
「编程与Agent」频道最新
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 用 $28 算力让模型给自己造 copilot：他的新模型个人基准 — bucolucas · 2026-10-27
- 创始人和 Claude 4 天产 46 条 App 视频，省下 1.15 万美元 — PrajwalTomar_ · 2026-10-27
- Agent 中途改计划该被允许吗：真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27