RL 搜索新解:agent 花三到五成 token 在搜索,专用模型快 20 倍便宜百倍
AI Engineer · youtube · 2026-09-17
AI Engineer 频道视频,SID.ai 的 Maximilian-David Rumpf 讲 RL 如何改造 agent 搜索。
问题
- Agent 的 token 消耗中约 30–50% 花在搜索上,且几乎都在任务开始阶段。
- 把任务交给 agent 而非查询交给搜索引擎,找到正确文档的几率约翻倍,但成本高 100–1000 倍、耗时从毫秒变分钟。
传统管线的死结
经典「改写查询→后端检索→重排→返回」管线中,所有决策在设计时就已冻结,每个问题分到相同的固定算力预算;重排器常常明知结果答不上问题却无法行动,只能返回,形成靠补不完的边缘 case 堆砌的长尾失败。
RL 为何适合搜索
- 奖励可验证:找没找到正确文档一翻两瞪眼。
- 环境可高频磨:每秒可试上千次。
- 作者类比计算机视觉(手工边缘检测→窄检测器→通用模型)和国际象棋(人工规则→自学习)走过的路径。
结果
专用 RL 模型在同任务上比 frontier 模型快约 20 倍(5 秒 vs 2 分钟),成本约为其 1/100,并把坏结果挡在主上下文之外。
「编程与Agent」频道最新
- 生产事故排查六步法：从事故分诊到复盘防再犯的完整 Playbook — _jaydeepkarale · 2026-11-02
- Google 开源内部「大象-金鱼」工作流:规划与审查分离防 AI 敷衍 — gaganghotra_ · 2026-11-02
- InfoQ 发文：Agentic AI 架构中记忆、知识与上下文的系统化方法 — AdiPolak · 2026-11-02
- Harness Pro 用 ESP32-P4 做出 AI 编码 Agent 桌面监控屏 — dee_hw · 2026-11-02
- RL 训练 LFM2.5-24B 适配器：精度持平下工具调用省 20% — yb2698 · 2026-11-02
- Agent 生产环境排障之痛：错误在第5步、根因在第3步 — Ok-Machine7983 · 2026-11-02