IterSynth: Rethinking Deep Search Agents via Role-Decoupled Iterative Synthesis
Xingyu Wu, Yuchen Yan, Zhengxi Lu, Siqi Chen, Xin ZHANG, Aiting Liu, Chao Deng, Jie Liu, Jin Ma, Jian Shao, Jun Xiao, Yongliang Shen
cs.CL, cs.AI
2026-09-24
浙大与腾讯把深搜拆成规划器和综合器轮转,摘要当持久状态;IterSynth-8B五基准均分50.7,比最强≤8B基线高4.2点,提示范式在Claude上比ReAct高5.5点。
长程深搜还在用 ReAct 一条策略包办规划、检索和写答案。能力缠在一起,上下文又越积越脏。附录里,64K 上下文的 ReAct 在 BrowseComp 上超过 59% 的轨迹还没收尾就撑爆窗口。多模型分工贵,外部摘要又常常丢掉有用证据。
IterSynth 用同一套参数、两套角色提示轮转。规划器只看见原问题和当前全局摘要,动作只有搜或交卷,看不到检索原文。综合器吃到检索结果后改摘要:滤无关段落、抽发现、解局部冲突,不能搜也不能给最终答案。下一轮状态就是「问题 + 新摘要」,历史查询和文档不进规划器窗口。
环境是搜索引擎加浏览器。评测走在线工具,强化学习滚动时用缓存检索。对比三条路线:多模型分工贵;外部摘要工具不进策略;ReAct 把所有角色揉进一条上下文。
训练两段。先用 Qwen3.5-397B-A17B 在真实搜索环境滚出规划器-综合器轨迹,修坏工具调用、丢掉幻觉步骤,只留答对的,约 1 万条,在 Qwen3-8B 上全参 SFT,每一步按角色提示拆成独立监督。再上角色解耦策略优化(RDPO):每题 G 条滚动,终点对错广播到每一步,外加规划器(缺口/具体性/终止)和综合器(忠实/覆盖/巩固)的回合打分,复合奖励是对错加缩放后的打分。优势在角色内部标准化,再塞进普通 GRPO。消融表明,同样复合奖励若混角色归一化,均分会掉到比纯结果 GRPO 还低。
五个长程基准上,IterSynth-8B 均分 50.7,高于 MiroThinker-v1.0-8B 的 46.5,也高于 OffSeeker-8B-DPO 的 35.0 和 WebExplorer-8B-RL 的 34.9。BrowseComp-ZH 55.4,比最强小模型高 15.2 点;xBench-DS-2510 46.0,对上 34.0;xBench-DS-2505 66.0,对上 60.6。BrowseComp 英文 30.9,略低于 MiroThinker-8B 的 31.1;GAIA text-only 55.3,明显低于 66.4。均分赢在中文深搜和较新的 xBench,不是五项全胜。8B 均分超过若干 30B 训练体(ReSum 33.3、AgentFold 50.2、OpenSeeker-SFT 50.6),仍低于 MiroThinker-v1.5-30B 的 67.0 和 Tongyi-DR-30B 的 58.2。
| 方法 | 均分 | BrowseComp-ZH |
| MiroThinker-v1.0-8B | 46.5 | 40.2 |
| IterSynth-8B | 50.7 | 55.4 |
| Tongyi-DR-30B | 58.2 | 46.7 |
无训练提示时,Claude-4.5-Opus 上 IterSynth 均分 66.1,ReAct 60.6,IterResearch 63.2;DeepSeek-V3.1 上是 47.9 对 ReAct 43.4。消融:SFT 44.1,纯结果 GRPO 48.9,同样复合奖励但不按角色分组掉到 47.2,RDPO 50.7。把规划器换成未训 Qwen3-8B,三基准均分从 58.9 掉到 17.8;换综合器掉到 41.5。规划器更脆弱:差查询会污染整条证据链,综合器救不回来。
工作流本身就能当提示范式用,8B 训练只是把同一结构学进权重。要跟的是「摘要当状态 + 角色内优势」,不是再堆一个 30B 搜索模型。中文深搜收益最大;英文 BrowseComp 和 GAIA 还没打过同尺寸最强基线。
论文没有独立局限节。GAIA 和 BrowseComp 英文没有超过 MiroThinker-8B,均分会被中文子集拉高。回合奖励靠 LLM judge。强化学习用缓存检索,评测走在线工具,训练评测分布可能不一致。规划器和综合器仍是同一 8B,没有测过真正拆成两个模型。