谷歌 DeLoop 用自身 rollout 消除 Agent 循环，Qwen3-32B 成功率升至 44.8%

google · hf · 2026-10-22

谷歌与多所高校联合提出 DeLoop，一种自监督偏好优化方法，用于减少语言模型 Agent 在长任务中的重复工具调用循环（loop）。

• 问题：Agent 会重复发起之前已执行过的工具调用并得到相同结果，这类循环在 Qwen、Llama、Gemini 的 Agent 中原生存在，且历史被压缩以适应上下文窗口后大幅加剧。
• 方法：利用 Agent 自身的 rollout 提供监督信号——将循环动作作为负样本、同一 rollout 中后续首个非循环动作作为正样本，通过 DPO 训练，无需任务奖励、标准答案或 LLM 裁判。
• 结果：在 CodeGym 压缩场景下，Qwen3-8B 出现循环的任务占比从 57.3% 降至 6.1%，每任务步数约为原来的三分之一且成功率相近；Qwen3-32B 循环与步数同步下降，任务成功率从 37.7% 提升至 44.8%。

代码与数据将公开。

原文链接 →

「编程与Agent」频道最新

• 实验多智能体 swarm-lite：让 worker agent 主动广播互相通信 — morgymcg · 2026-10-22
• 独立开发者三机分工跑 agent：MacBook 对话、mini 跑自动化、服务器定时发帖 — petrusenko_max · 2026-10-22
• 用 Claude 聊天直接做交易被拦:Anthropic 安全护栏挡住加密货币自动化 — devanshmehta · 2026-10-22
• AI agent 修真 bug 实录:Docker 沙箱复现、修复、45 秒推送分支并开 PR — Acceptable-Object390 · 2026-10-22
• 数据科学家生存法则:会用 AI 工具的人正被会搭建 AI 系统的人取代 — mdancho84 · 2026-10-22
• AutoResearch:自主跑完研究闭环的 AI 智能体成为行业信号 — mdancho84 · 2026-10-22

更多「编程与Agent」频道 AI 资讯 →