Artificial Analysis 编码 Agent 指数新增安全拒答与降级模型分析
ArtificialAnlys · x · 2026-10-02
Artificial Analysis 在其 Coding Agent Index 中新增安全拒答(safety refusal)报告,可查看拒答发生时机和拒答后 agent 切换到的备用模型。
要点:
- 拒答时机:区分任务提示一开始就被拒,还是 agent 已经开工后才在任务中途被拒
- 降级模型:展示被拒后 agent 切换到了哪个模型,以及被拦截的尝试
- 关键数据:Claude Code + Sonnet 5.5 (max) 目前排名第一,安全拒答率 4.5%,约为 Claude Code + Opus 5.5 (max) 8.9% 的一半
- Sonnet 5.5 约 94% 的拒答发生在首轮之后;拒答后 agent 几乎总是切换到 Opus 4.8
- 不同配置降级模式不同:Fable 5.1 被拒后 Claude Code 主要回落到 Opus 4.8,而 Devin Fusion 的降级中 Opus 5 占比大得多
该指数综合 DeepSWE v1.1、Terminal-Bench 4.0 和 SWE-Atlas-QnA 三个基准。作者提示安全与降级行为由厂商配置,可能随时间变化,数据仅反映基准测试时的行为。
所属事件:Artificial Analysis 编码 Agent 指数新增安全拒答分析(2 条相关)→
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- Teknium 提醒:勿用 900k 版 GPT 模型,272k 上下文后额外计费 — Teknium · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16