CMU发布SearchHorizonBench:量化AI Agent「再搜索一次值不值」
CarnegieMellonU · hf · 2026-10-28
卡内基梅隆大学发布 SearchHorizonBench,一个衡量 AI Agent「搜索价值」的 benchmark:
- 核心问题:agent 能否从执行历史中学会估计「再做一次搜索」的边际价值——搜索有收益也有 token 成本,何时值得再搜?
- 规模:45,632 次执行、3,168 个问题、8,880 次预测;每个状态下对比 THINK(直接作答)与 SEARCH(检索)的重复结果,计算 action success 与 search gain,并在不同 token 价格下为「搜还是答」的决策定价。
- 结论:从历史中校准能提升预测准确率,但大部分 search-gain 方差仍无法被解释——说明估计「搜索价值」是 agent 尚未解决的开放问题。
所属事件:CMU 发布基准教 AI Agent 判断再搜一次值不值(2 条相关)→
「编程与Agent」频道最新
- 神操作:用加拿大原住民字符伪造 Go 泛型,骗过所有读者 — rickasaurus · 2026-10-28
- 微软 Agensh 看板细节:「测试通过」只是一条消息 — shoumikgoswami · 2026-10-28
- Ollama 联手 FriendliAI 11月5日首尔办 Meetup，聚焦开源模型生产级 Agent — ollama · 2026-10-28
- theo 放话：产品逼我去用 Dashboard，我就让 Claude 重建一个 — sull · 2026-10-28
- Magic Patterns 首位工程师自述：Cursor 接 Slack、周末上线全新文件类型 — Y Combinator Blog · 2026-10-28
- 妻子求职10个月无果，程序员丈夫自建AI求职应用并开源 — CurieuxExplorer · 2026-10-28