SearchHorizonBench：45632 次执行教会 Agent 判断「再搜一次值不值」
_reachsumit · x · 2026-10-28
SearchHorizonBench 是一个评测 AI Agent「搜索价值」的基准：Agent 需要决定再一次网络搜索是否值得其成本。
核心设计与结果：
- 通过配对延续与重复执行，把「预期搜索收益」从生成噪声中分离出来，并将预测质量与决策效用挂钩。
- 数据规模：3168 个问题、45632 次执行；在 1632 个保留问题上，历史校准使 Brier 误差降低 16.2%。
- 搜索收益的标准差达 21.4 个百分点，而现有历史估计器在点估计上解释不到 2% 的方差——说明该问题远未解决。
- 在参考 token 价格下，基于自由选择的观测相对最佳常量动作带来 2.49 点效用提升，主要来自收益信息。
- 提供可复用历史、冻结划分、强基线与评分工具，作为开发「价值感知搜索 Agent」的共同基础。
「研究」频道最新
- 用贝叶斯算 P=NP：似然比 10:1 倒向等式成立 — jessi_cata · 2026-10-28
- Karpathy GitHub 免费学习路线走红：从 micrograd 到 nanochat 六步吃透 LLM — lmoroney · 2026-10-28
- AI 科学 vs 人类科学：从 Thurston 数学观重思 AI 如何做研究 — hugo_larochelle · 2026-10-28
- 顶级计量经济学家发论文:讲我们的 LLM 如何写出这篇论文 — lihua_lei_stat · 2026-10-28
- 发布 10 个月后前沿模型 SpatialBench 逼近 75%，GPT-6.1 Terra 创新高 — kenbwork · 2026-10-28
- 手写 Transformer 自动微分：PyTorch 极简 autograd 实现开源 — ifaposto · 2026-10-28