Deep Search in Real-World Web Environments
Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, Jiwei Fang, Yu Yan, Yini Huang, Chen Chen, Ruoxi Cheng, Yuzhi He, Yuhui Zhang, Xiaoxing Hu, Chen Liu, Jianbo Lin, Yijiang Li, Xiaobin Hu, Menglong Li, Zhuoran Lu, Weishi Wang, Zhongqi Yue, Chengwei Qin
cs.IR, cs.MM, cs.SE
2026-10-20
200道跨网页、跨格式取证的深搜题,GPT-6 Astra答对39.0%,人类1000次独立尝试只有21.1%。
Deep Search 评测很少逼智能体在活网页上把一条证据链走完。文本、图像、音频、视频混在同一页里,格式从 HTML、PDF 到 Parquet,不少证据要先跳转、改参数、按时间定位或下载才出现。这三层叠在同一次检索里,断一环答案就错。
OpenDS 把这件事定义成开放网页上的多步事实问答。输入只有一段公开视频和题面,不给来源链接。模型要自己认出视频里的锚点,再把多个独立网站上的证据接成唯一答案。
题从视频长出来。标注员在 500 条候选里定锚点:实体必须靠画面和声音认出,并唯一对应一条 Wikidata,避免退化成搜视频页上的文字。再用 Google Search 逐跳扩展,每一跳都要多个独立网页印证,直到终端节点唯一。题面把整条链倒写,中间实体只留间接指代。10 名审核确认证据可访问,且答案只有一个。
留下 200 题,覆盖八个领域。证据链 787 条,平均每题 3.94 条,含 4 种模态、42 种格式、7 类访问方式。文本见于 99.5% 的题,图像、视频、音频为 44.5%、35.5%、16.0%。链接跳转、下载再看、时间定位、改参数分别占 67.0%、60.0%、47.5%、42.0%。
12 个模型共用搜索、浏览器 GUI、抽帧和字幕。每题最多 1 小时、100 次调用,触顶后关工具,只凭已有证据作答。裁判是 Qwen3.8-27B。50 人做 1000 次尝试,只用浏览器,禁用 LLM。低、中、高按 5 人里答对几人划分,各 54、61、85 题。
| 方法 | 指标 | 结果 |
| GPT-6 Astra | 准确率 | 39.0%(78/200),低中高 59.26%/40.98%/24.71% |
| Claude Opus 5.5 | 准确率 | 38.0%(76/200) |
| Gemini 3.8 Flash | 准确率 | 36.5%,高难度 28.24% |
| 人类1000次 | 准确率 | 21.1%,85题五人全错 |
| Qwen3.8-Flash | 预算 | 80.0%打满调用,自然结束 6.5% |
12 个模型等权平均,低中高准确率 39.66%、23.50%、16.76%。Astra 错 122 题。它与 GPT-5.6 Sol 总 token 几乎相同(约 187M 对 186M),分差 11 个百分点。Gemini 的 token 约 5.22 倍,DeepSeek-V4-Pro 的耗时约 2.39 倍,准确率 12.5%。Opus 5.5 与 Qwen3.8-Flash 的 GUI 占 51.52% 和 49.42%,准确率 38.0% 对 12.0%。失败调用只占次数的 2.83%到9.42%,却占工具时间的 19.27%到61.90%。每人 20 题平均 12.92 小时,合计约 646 小时,仅 29 题被多数人答对。
同一预算下,多调工具不等于会搜。Qwen3.8-Flash 平均 89.94 次调用,准确率 12.0%。Astra 平均 51.05 次、18.66 分钟,触顶只占 25.5%,自然结束 69.0%,准确率仍是 39.0%。高难度 85 题上,Gemini 以 28.24% 超过 Astra 的 24.71%。题面藏起中间实体,比日常查资料更刁,适合看空转和误停,不宜当产品验收线。
视频随题归档,证据网页不冻结,链接存活率没有报告,39.0% 和 21.1% 不好复现。人禁用 LLM、没有统一时限,模型限 1 小时和 100 次调用。模型高于人,比的是禁用模型的作答者。42.5% 的题五人全错,标注仍能走通,倒写题面抬高了难度。裁判与参赛 Qwen 同族,一致率未报告,也没有重复采样。