11 个安全 agent 横评：最佳 68% pass@1，固定测试形同虚设
krishnan · x · 2026-11-02
Krishnan 摘录 CWE-bench 关键数据：11 个被测 agent 中最佳为 68% pass@1、81% pass@4——这是基准分数，不是你的生产应用安全的概率。固定测试无法排除所有攻击变体：在 320 次判定分歧中，有 200 次会主动探测攻击变体的评委否决了固定测试放行的补丁。
所属事件:CWE-bench 发布：AI 安全 agent 横评与验收方法论(7 条相关)→
「安全」频道最新
- 获 1 亿美元注资的 AI 反监管超级 PAC 陷困境，安全派崛起 — ShakeelHashim · 2026-11-02
- Cisco 发现用 Claude 窃密的多模型恶意软件，被拒就换 Kimi 绕护栏 — Hesamation · 2026-11-02
- 曝 Grok 将于 11 月 7 日起为 AI 生成文本嵌入隐形水印，以符合欧盟 AI 法案 — Polymarket · 2026-11-02
- SemiAnalysis：若禁令蔓延，2028 年美国 30.3GW 数据中心容量面临暂停风险 — Eliv_nurotic · 2026-11-02
- 联想「加密」指纹 U 盘被拆穿：壳里是张裸 SD 卡 — jedisct1 · 2026-11-02
- Grok 自曝 Beth Barnes 深度 EA 背景,Anthropic 安全政策的「决策者」引争议 — adamamcbride · 2026-11-02