企业运维智能体新榜单
hugo_larochelle · x · 2026-07-14
Artificial Analysis 联合 ServiceNow 发布了 EnterpriseOps-Gym-AA,这是基于原始 EnterpriseOps-Gym 改造的独立榜单,用来测试 AI agents 是否能在真实企业系统中完成多步、状态化的运营任务,同时遵守业务规则和政策。
这个评测通过 Stirrup agent harness 运行,覆盖 8 个业务领域,评分不是看中间步骤,而是看任务结束后底层数据库的最终状态。当前榜单中,Anthropic 的 Claude Fable 5(max)以 51% 领先,Google 的 Gemini 3.5 Flash(high)为 50%,OpenAI 的 GPT-5.5(xhigh)为 47%,而 Z.ai 的 GLM-5.2(max)是开源权重模型里分数最高的,达到 43%。
「研究」频道最新
- 「氛围验证」研究:近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图,自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布:训练资产翻四倍,切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测:34 个开源模型跑 50 项任务,综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布:向 Agent 轨迹注入作弊,压力测试监控器 — DanielKhashabi · 2026-10-26