ServiceNow 与麦吉尔发布 AgentHorizon：1373 项任务考 AI 裁判
rohanpaul_ai · x · 2026-10-14
本条为 AgentHorizon 论文的 arXiv 链接帖（arXiv:2610.11050），与上文同一工作：ServiceNow Research 与麦吉尔大学等提出 AgentHorizon 基准，用 1373 个 computer-use 任务（源自 166 小时人工录屏、跨三操作系统）评测 LLM 裁判判断长程 agent 轨迹成败的能力。通过交换相近指令构造负样本，评测 11 个裁判：最佳者 GPT-5.5 在困难集 balanced accuracy 80.9%；工具使用对部分开源权重模型反而有害。基准分 AH/AH-S/AH-D 三个难度分片并已开源。
所属事件:AgentHorizon 基准发布：AI 评委审长程任务漏掉两成细微错误(2 条相关)→
「研究」频道最新
- MIT 研究者用爱犬 fMRI 数据做出可交互的大脑数字孪生 — Sad_Measurement_7502 · 2026-10-14
- Linux 内核 CVE 周修复量从 600 骤降至 1，AI 扫码或逼近清零 — MarkoMarjamaa · 2026-10-14
- 免标签批间最优传输耦合，让强 CFG 下生成更稳 — AlexanderTong7 · 2026-10-14
- AI 自动科研方法重演优化算法史:思想动量与模拟退火齐上 — burny_tech · 2026-10-14
- UC Berkeley 团队开源 FLAT，线性注意力 TPU 训练内核提速最高 3 倍 — SonglinYang4 · 2026-10-14
- 自主 Claude 智能体自己找到方法,发现 104 颗新食双星 — kaityl3 · 2026-10-14