Artificial Analysis 编码 Agent 指数新增安全拒答与降级模型分析
ArtificialAnlys · x · 2026-10-02
Artificial Analysis 在其 Coding Agent Index 中新增安全拒答（safety refusal）报告，可查看拒答发生时机和拒答后 agent 切换到的备用模型。
要点：
- 拒答时机：区分任务提示一开始就被拒，还是 agent 已经开工后才在任务中途被拒
- 降级模型：展示被拒后 agent 切换到了哪个模型，以及被拦截的尝试
- 关键数据：Claude Code + Sonnet 5.5 (max) 目前排名第一，安全拒答率 4.5%，约为 Claude Code + Opus 5.5 (max) 8.9% 的一半
- Sonnet 5.5 约 94% 的拒答发生在首轮之后；拒答后 agent 几乎总是切换到 Opus 4.8
- 不同配置降级模式不同：Fable 5.1 被拒后 Claude Code 主要回落到 Opus 4.8，而 Devin Fusion 的降级中 Opus 5 占比大得多
该指数综合 DeepSWE v1.1、Terminal-Bench 4.0 和 SWE-Atlas-QnA 三个基准。作者提示安全与降级行为由厂商配置，可能随时间变化，数据仅反映基准测试时的行为。
所属事件:Artificial Analysis 编码 Agent 指数新增安全拒答分析(2 条相关)→
「编程与Agent」频道最新
- 开源 Hermes ChatGPT 扩展:在 Codex 内直接调用 Hermes 智能体 — intellectronica · 2026-10-02
- Modal Runtime 一次推出多节点集群、VM 沙箱与粘性会话 — graceisford · 2026-10-02
- 不靠前沿模型搭风控 Agent:单次扫描仅 0.02 美元,比 LLM 评审便宜 250 倍 — alexcovo_eth · 2026-10-02
- 开发者推出 Tyton：用 MCP 让 AI 智能体帮你搞定 Meta Pixel 与 CAPI — Foreign-Chipmunk-295 · 2026-10-02
- Grok 上线 Bot Marketplace，可按工程、销售、营销等场景添加专属 Agent — Polymarket · 2026-10-02
- Arcmira MCP 加速迭代：用 Claude 自动产出高光剪辑视频 — zealcaiden · 2026-10-02