RL 搜索 agent 竟把谎言的转写当独立信源,8 条回声推翻 58-73% 正确答案
_reachsumit · x · 2026-11-18
论文《EchoSpec》揭示 RL 训练的搜索 agent 一个系统性弱点:真实语料中一个错误论断会被复制、改写成许多页面,而原始信源只出现一次——agent 却把回声当作独立信源采信,且丧失弃答能力。关键发现:
- 3B 到 32B 的五个基座模型、七个已发布 RL agent 上,在多跳维基百科问题上,8 条改写的错误论断回声能推翻 58-73% 原本正确的答案
- 精确匹配的 RL 训练让「证据被删时的弃答率」跌破 15%
- 失败定位在证据获取环节:一旦原始证据进入上下文,agent 能像否决一条一样可靠地否决八条;回声占据检索前列导致搜索过早终止,加大预算、强制搜索轮次、被动过滤段落都无法挽回
作者提出 EchoSpec:先以验证热启动教 agent 跨回声恢复桥接实体,再用 group RL 优化带证据门控 λ-reward 的两阶段训练,在 Qwen2.5-3B/7B、Llama-3.1-8B 上于九个评测套件验证有效。
「编程与Agent」频道最新
- Google 员工感叹 Replit 创作者之夜:Agent 已能撑起全自动小生意 — DynamicWebPaige · 2026-11-18
- Teamily AI 推出实时协作 Studio:团队与 Agent 同稿共创 — CurieuxExplorer · 2026-11-18
- Voyager Cloud 上线:按秒租 GPU 给 Agent 跑 Blender 渲染 — ravisparikh · 2026-11-18
- Agent 一天做出可玩 3D 平台游戏:自完成概念图建模到关卡 — FinanceYF5 · 2026-11-18
- 一天做出可玩 3D 平台跳跃游戏,Fable 5.2 全程自己搞定美术建模 — FinanceYF5 · 2026-11-18
- BizPeel 上线 48 项竞研数据工具,接 Claude Code 查竞品每次不到 2 美分 — yihui_indie · 2026-11-18