KNOWS 基准实测：最强 computer-use agent 完整成功率仅 3.6%

anmarasovic · x · 2026-10-25

犹他大学团队在 EMNLP 2026 发布 KNOWS 基准（Knowledge Navigation and Organized Web Synthesis），首个同时覆盖实时网页搜索、生产力工具使用与视觉空间理解的 agent 基准。

任务设计：110 个开放式复杂浏览器任务，每个任务要求 agent 在真实 Google Workspace 界面里产出真实 Doc/Sheet/Slides 成品；涉及 20 个域名，平均 24.6 步/任务；每个任务需 9–18 小时专家人工编写，并配确定性检查 + LLM 判断混合评估器。
结果：最强 agent 完整成功率仅 3.6%。视觉步骤失败会导致成品完全不可用，即使其他步骤完成过半；Perplexity Comet 的失败中视觉类占 63%、格式化 40%。
其他发现：GPT-5.5/Claude Opus 4.7 等纯 AXT 完整成功均为 0%；同一模型换 harness（BrowserGym vs Comet）SF 分差可达 +25.6，说明 harness 与模型同等重要。
结论：当前 agent 作为端到端助手在工具使用、视觉理解、长程推理上仍有明显短板。论文、代码、榜单与数据集均已公开。

「编程与Agent」频道最新