KNOWS 基准：最强网页 Agent 复杂长任务完全成功率不足 3%
anmarasovic · x · 2026-10-18
犹他大学等团队发布 KNOWS 基准，评测网页 Agent 在「搜索之后」的能力：跨多步工作流检索信息，并综合成文档、演示文稿、表格等最终产物。
- 任务为开放式、复杂、基于浏览器的长程任务，要求推理与综合、任务分解以及视觉/空间理解，每项任务以产出一个工件收尾。
- 配套任务设计 rubric 与评估器：确定性检查结合 LLM 判断，平衡评估的丰富性、可靠性与自动化程度。
- 对前沿 computer-use Agent 与浏览器 harness 的评测显示：部分成功指标得分中等，但表现最好的模型在复杂长程任务上完全成功率不足 3%，视觉步骤是主要失败点。
所属事件:KNOWS 基准发布：最强网页 Agent 长任务成功率不足 3%(2 条相关)→
「研究」频道最新
- AI slop 防御副作用:审稿收紧误伤正当投稿的假阳性困境 — nanjiang_cs · 2026-10-18
- 学者警告:AI slop 反噬学术审稿,正当投稿遭更多无理 desk rejection — nanjiang_cs · 2026-10-18
- 论文：单个神经元即可绕过大模型安全对齐，横跨 7 个模型验证 — burny_tech · 2026-10-18
- Yacine 谈 RL 算法：比预训练 scaling law 更接地气的工程美学 — yacineMTB · 2026-10-18
- TMLR 投稿量暴涨，AC 靠外行审稿难以为继引热议 — nanjiang_cs · 2026-10-18
- KNOWS 基准：最强网页 Agent 复杂长任务全成功率不足 3% — anmarasovic · 2026-10-18