166 小时真人录屏：AgentHorizon 开源 1373 条长程 GUI 轨迹
xhluca · x · 2026-10-10
ServiceNow 团队开源 AgentHorizon 评测套件，用于检验 LLM 裁判能否准确判断 GUI agent 是否完成复杂多步桌面任务。
- 规模：1373 条轨迹（523 正例 + 850 负例），来自 166 小时真人录制，平均约 136 步，不少超过 200 步
- 覆盖：macOS/Windows/Linux 三系统、6 大领域（数据科学、创意、教育、生产力、开发、通用）、323 种应用组合
- 对抗性负例：通过交换指令与轨迹构造「完成了相似但不兼容请求」的样本，考验裁判的辨别力
- 发布物：截图、动作日志、标注、prompt 与评测代码全开源（GitHub: ServiceNow/agenthorizon），分 frontier / simple / development 三个 split，已评测 11 个裁判模型
对做 agent 训练与自动评测的团队是直接可用的基础设施。
所属事件:ServiceNow 开源 AgentHorizon 基准考 LLM 裁判(2 条相关)→
「编程与Agent」频道最新
- Reward-Rate Policy Gradient：让 agent RL 学会为执行时间买单 — sherryyangML · 2026-10-14
- 开发者盛赞：Opus 5.5 或是迄今最佳模型，Claude Code 框架功不可没 — dreamwieber · 2026-10-14
- tldraw新插件可在ChatGPT内运行嵌入式画布应用 — max__drake · 2026-10-14
- MazeBench新纪录:Schema配GPT-6 Astra得33%,超人类中位数 — patience_cave · 2026-10-14
- MazeBench 上线免费试玩，Schema 框架配 GPT-6 Astra 刷新纪录至 33% — patience_cave · 2026-10-14
- Perplexity Computer 用 Ghidra 反编译闭源键盘应用并移植成 Linux 原生 Rust 版 — AravSrinivas · 2026-10-14