KNOWS 基准：最强网页 Agent 复杂长任务全成功率不足 3%
anmarasovic · x · 2026-10-18
研究者发布 KNOWS 基准，填补现有 computer-use 评测的空白：不只考搜索，而是评估网页 Agent 在多步工作流中检索、综合信息并产出最终成品（文档、幻灯片、表格）的能力。
- 任务为开放式复杂浏览器任务，配套任务设计 rubric 与协议保证质量
- 每个任务配有评估程序，结合确定性检查与 LLM 判断，平衡评估的丰富性、可靠性与自动化
- 对前沿 computer-use Agent 的评测显示：部分成功指标得分中等，但表现最好者在复杂长程任务上的完全成功率不足 3%
- 视觉步骤是主要失败来源
论文、项目页与代码均已公开。
所属事件:KNOWS 基准发布：最强网页 Agent 长任务成功率不足 3%(2 条相关)→
「编程与Agent」频道最新
- 马斯克宣布 Grok Bot 大升级：速度快 3 倍，接入 X Chat 与邮箱自动化 — elonmusk · 2026-10-18
- Reflection AI:Beam 24 小时吞吐 1 万亿 token 并重置全部用量上限 — nayshins · 2026-10-18
- 博主用 Grok Bot 一句话做出并部署 Tesla Roadster 飞行小游戏 — XFreeze · 2026-10-18
- Y Combinator 开办「Make Something Agents Want」agent 黑客松 — ycombinator · 2026-10-18
- 开发者开源 Nimble Notes:专为 vibe coding 设计的轻量随记工具 — Nimblecloud13 · 2026-10-18
- 用户用 Grok 3-4 天造出替代 Premiere 的剪辑器，将开源 — elonmusk · 2026-10-18