中科大与阿里提出 ADRS：token 级信用分配让多轮智能体 RL 提升逾 10 个百分点
量子位 · wechat · 2026-09-15
中国科学技术大学与阿里巴巴研究团队提出 ADRS（Agentic RL with Self-Distilled Reward Shaping），针对多轮智能体强化学习中的时间信用分配难题：终点奖励只告诉模型轨迹最终对不对，却不知道中间哪一步值得强化。
核心思路：训练期用带任务技能的教师上下文对已生成 token 重评分，把教师偏好转化为与回报相关的 token 级信用，注入原有 advantage 路径；rollout 与推理全程 skill-free。
三层信用构造：
- 步骤内教师分数中心化与尺度归一化，只保留步骤内相对证据；
- TVA 门控：根据「教师置信度—实际回报」的批内关联决定是否放行教师信号；
- 不另开蒸馏损失支路，直接在 advantage 构造前注入与环境奖励合并。
主要结果（Qwen2.5-3B/7B、Qwen3-1.7B，150-step 预算）：
- ALFWorld 成功率 94.5%，较最强基线 +10.1pt；7B 达 96.1%；
- WebShop Score/Success 87.5/76.6；
- 消融：GiGPO 82.8% → 无 TVA 87.5% → +TVA 89.8%；
- action/style token 更新幅度比达 95.3，说明更新集中在关键决策 token；
- 60% 数据即超全量 GRPO，未见任务平均 +11.9pt。
论文也指出边界：TVA 是批内统计关联而非因果归因，重评分增加训练期前向计算。论文：arxiv.org/abs/2608.03223
「编程与Agent」频道最新
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02