CWE-bench 发布：AI 安全 agent 横评与验收方法论

Krishnan 于 11 月 2 日连发多帖，系统介绍 CWE-bench 基准（10 月 12 日预印本，arXiv:2610.17020）并给出 AI 安全 agent 的评估方法论。

已确认

• CWE-bench 包含 120 个「审计并修复」任务，基于真实开源仓库注入缺陷，覆盖 73 种 CWE 类型、8 种语言，并参照 OWASP 分类
• 11 个被测 agent 中最佳成绩为 68% pass@1、81% pass@4；在 320 次判定分歧中存在无法由固定测试排除的攻击变体
• 修复判定标准：补丁必须同时满足「挡住已测 exploit」和「仓库原有功能测试全部通过」
• Krishnan 举例说明：文件服务器禁用下载功能可阻止路径穿越攻击，但也移除了服务本身的意义，这不算修复

尚未确认

• 具体的 agent 名单与逐项成绩未在帖中给出

为什么重要

• Krishnan 反复强调两点：基准分数不等于生产应用的实际安全概率；「找到一条攻击路径」与「证明修复稳固」是两份不同的工作，一次惊艳的 exploit 演示不足以支撑采购决策
• 他据此提出试点验收三问：agent 能否挡住攻击、能否保持正常合法使用不受影响、能否在第三方设计、agent 未见过的变体攻击中存活——且三者须在同一修复预算内完成
• 具体操作建议：把普通客户行为纳入验收测试；引入他人设计的攻击变体；即使已测攻击不再生效，功能被禁用也要计为回归

2026-11-02 ~ 2026-11-02 · 7 条相关

• AI 安全 agent 靠弄坏应用挡攻击，应判为失败 — krishnan · 2026-11-02
• 【源头】CWE-bench 发布：120 项真实仓库审计修复任务测 AI 防御能力 — krishnan · 2026-11-02
• 禁用下载挡住路径穿越不算修复：安全补丁须保功能不破 — krishnan · 2026-11-02
• 【源头】11 个安全 agent 横评：最佳 68% pass@1，固定测试形同虚设 — krishnan · 2026-11-02
• 攻进一次不等于修得好：别照着排行榜买安全 agent — krishnan · 2026-11-02
• 【源头】试点 AI 安全 agent 的三条验收建议：变体攻击与他人设计 — krishnan · 2026-11-02
• 安全 agent 验收测试三问:挡攻击、不误伤、抗变体 — krishnan · 2026-11-02