AutomationBench:按护栏违规调整后的效率排名
ArtificialAnlys · x · 2026-07-07
完成目标的同时,agent还需避免违反代表业务规则的护栏。所评模型在发布时都会触发护栏违规;按违规调整后的效率可区分领先者:Gemini 3.5 Flash每违规完成15.0个目标,Claude Opus 4.8(max)为13.5。
所属事件:AutomationBench-AA发布:评估AI自动化SaaS工作流能力(7 条相关)→
「模型」频道最新
- Sakana AI 发布 Fugu Max:动态编排开源模型池逼近精英模型性能 — graceisford · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 新基准一出分数暴跌 70 点:「刷榜」现象如何让跑分失真 — airesearch12 · 2026-09-11
- ChatGPT 竟劝用户「问题太复杂,去试试更笨的回答」 — phido3000 · 2026-09-11
- Anthropic 调整年龄验证,Claude 不再向未成年人开放 — Muhammad523 · 2026-09-11
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11