KNOWS 基准上线:最强 agent 复杂任务全成功率仅 3.6%
srchvrs · x · 2026-10-18
犹他大学团队发布 KNOWS（Knowledge Navigation and Organized Web Synthesis）基准，入选 Findings of EMNLP 2026，号称其参与创建的最具雄心的 agent 评测。
评测内容：110 个开放式复杂浏览器任务，联合考察 1）实时网络搜索、2）常用网页生产力工具使用、3）视觉/空间理解；尽可能程序化判定，必要时用 LLM 评委。
任务形态：每个任务的产物是真实 Google Workspace 界面中构建的 Doc、Sheet 或 Slide；每个任务从设计到完成需 9–18 小时专家工作量，配套确定性检查+LLM 判断的评估器。
结果：最强模型（GPT-6 Astra/Luna + Codex，多模态输入）全任务成功率仅 3.6%，Opus 4.7 + Comet 为 2.7%；视觉步骤的失败会让产物直接不可用，即使其他步骤完成过半。结论：当前 agent 作为端到端助手在工具使用、视觉理解与长程推理上仍有明显短板。
所属事件:KNOWS 基准发布：最强网页 Agent 复杂任务成功率不足 4%(3 条相关)→
「模型」频道最新
- 网友实测 MOSS 图像模型对女明星的长相认知边界 — CutLongjumping8 · 2026-10-18
- 开发者称前沿模型已够强,自建编辑器引擎全面优化性能 — almmaasoglu · 2026-10-18
- 资深工程师吐槽 Codex 近期劣化：谎报完成还道歉 — AggressiveCoast190 · 2026-10-18
- Google 工程师 rakyll：harness 工程开源只因免费分发，终将被模型吞掉 — rakyll · 2026-10-18
- 研究者发声:只关注文本模态的路线难以通向 AGI — Angaisb_ · 2026-10-18
- 博主爆料 OpenAI 疑似先重置用量再砍额度 — lxfater · 2026-10-18