AgentHorizon 基准：AI 评委审长程任务仍漏掉 20% 细微错误
rohanpaul_ai · x · 2026-10-14
ServiceNow Research 与麦吉尔大学等发布 AgentHorizon 基准，系统评测 LLM 作为「裁判」判断 computer-use agent 长程任务成败的可靠性。
- 动机：团队常用 LLM 自动评判 agent 轨迹（用于训练与评估），但 100+ 步的轨迹看似完成，实则可能画错图形、发错 Slack 频道等。
- 构造：1,373 个任务（指令-轨迹对），来自 166 小时人工录屏、跨三个操作系统；通过给相近任务交换指令构造「近似失败」负样本，考验裁判能否区分真正成功与完成了相似但不兼容请求的轨迹。
- 结果：11 个裁判中最好的 GPT-5.5（Codex）在困难集 balanced accuracy 仅 80.9%；Qwen 3.6 27B 直接读完整轨迹 77.6%，作为 agent 使用工具反而降到 70.4%——工具使用并不总是有帮助。
- 结论：在信任 LLM judge 前，应在你实际使用的 agent 环境里用近似失败样本先测试它；裁判需要在长交互历史中定位并验证隐藏证据的能力。
基准与结果已开源（github.com/ServiceNow/agenthorizon）。
所属事件:AgentHorizon 基准发布：AI 评委审长程任务漏掉两成细微错误(2 条相关)→
「编程与Agent」频道最新
- 开发者：AI 让重写项目语言成为选项，编程语言格局重新洗牌 — lucasmeijer · 2026-10-14
- Grok Bot 插件市场开放提交,MCP 服务器可触达 Grok 与 Cursor 用户 — XFreeze · 2026-10-14
- 博主用一组 AI Agent 接管法律顾问社媒运营，月费 500-3000 美元市场 — ifioknkem · 2026-10-14
- Argon 7 分钟胜出：三模型实战对比，Codex 曾在测试中假通过真双扣 — viveky259 · 2026-10-14
- 单图驱动 Blender MCP:Argon 自主循环生成哥特式 3D 场景 — sidahuj · 2026-10-14
- 开发者用Claubde分析5万条飞行轨迹，开源空域异常雷达工具 — aashvathgupta · 2026-10-14