OpenDS-World 基准：12 个前沿模型最强者仅答对 39% 真实网页研究任务
jiqizhixin · x · 2026-11-15
港科大（广州）、复旦大学、华盛顿大学、帝国理工等机构联合发布 OpenDS-World 基准（arXiv 预印本《Deep Search in Real-World Web Environments》），包含 200 个基于真实网页的深度研究任务。12 个被评测的前沿模型中，最好的一个也只答对 39%。
任务设计要点：
- 每个任务以一段视频线索开始，agent 需要在实时网站上发现、访问并串联证据，可能涉及交互式页面、音视频材料、科学图表或结构化文件
- 证据链经独立验证，支持唯一事实答案，而非预设的工具调用序列
- 所有模型共用同一工具环境，搜索预算为 3600 秒或 100 次工具调用
结果显示，找到页面只是问题的一部分：选择有用信源、从失败的交互中恢复等深度搜索能力仍是当前前沿模型的明显短板。
「模型」频道最新
- Reddit 热议:LLM 为何总在回答末尾反问用户一句 — TaurusGold · 2026-11-15
- Gemini 2.5 Pro LMArena 排名一年从第 1 滑至第 42 — Sauers_ · 2026-11-15
- 开发者实测 Antigravity Hydrogen 模型：能力强且成本极低 — jasonkneen · 2026-11-15
- 曝 Grok 4.8 开始向 Grok Bot 用户推送，尚待确认 — mark_k · 2026-11-15
- Llama 405B 基座模型原生模拟 o1 思维链,展现分布外上下文学习能力 — Sauers_ · 2026-11-15
- 开发者称 Gemini 4 速度远超对手，或成第三类模型 — mertdumenci · 2026-11-15