研究论文: Sol 5.6 不用搜索工具答对 46% 测试题
beirmug · x · 2026-08-28
Sahel Sharify 等人发表论文《Projecting BrowseComp-Plus onto ClimbMix》，探讨了代理搜索基准的真实性。
研究背景：
- 原始 BrowseComp-Plus 基准使用约 10 万篇文档的固定语料库，但这些文档是为特定查询构建的，缺乏真实世界的噪声和复杂性。
- 新研究将问题投影到 NVIDIA ClimbMix (400B token, 553M 文档) 这一真实通用语料库中，通过“原子推理跳”(atomic reasoning hops) 分解和验证来确保证据存在。
关键发现：
- 论文数据显示，Sol 5.6 模型仅凭参数化知识(不使用搜索工具)在原 BrowseComp-Plus 上即可达到 46.1% 的原生正确率。
- 投影到 ClimbMix 后，检索难度显著增加，最强代理的得分下降了 5 个百分点，这更真实地反映了现实中的检索挑战。
所属事件:研究称搜索Agent依赖工具 非英语查询性能骤降(2 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树，摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries：智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15