编码 Agent 榜单新增安全拒答指标,Claude 回退率最高达 8.8%

ArtificialAnlys · x · 2026-09-19

Artificial Analysis 在其编码 Agent Index v1.5 中引入了安全拒答(safety refusal)报告,用于解释模型行为与得分差异。安全拒答指模型或提供方以安全为由拒绝开始或继续某项任务,此时 agent 可能回退到另一个模型继续执行,或直接中断并屏蔽该次尝试。

数据显示,Claude Fable 5.1 在 Claude Code 和 Devin Fusion 两个环境中回退率均为最高,回退尝试分别占该 Index 权重的 8.8% 和 7.1%,意味着其成绩实际部分包含了回退模型的表现。作者同时指出,拒答波动、harness 上下文累积、effort 设置与重试策略都会影响观测到的拒答率。