CWE-bench 发布：120 项真实仓库审计修复任务测 AI 防御能力
krishnan · x · 2026-11-02
Krishnan 介绍 10 月 12 日的 CWE-bench 预印本（arXiv:2610.17020）：
- 任务设计：120 个「审计并修复」任务，基于真实开源仓库注入缺陷，覆盖 73 种 CWE 类型、8 种语言、OWASP Top 10 2025 全部类别。agent 只拿到仓库和威胁模型描述，不告知缺陷类型、位置或数量。
- 修复契约：补丁必须既挡住已测 exploit，又通过仓库原有功能测试——用程序化验证器判定，开发中还用 agentic 评委面板校验分歧。
- 成绩：最佳 agent pass@1 68%、pass@4 81%。
- 附加发现：同 pass@1 的 agent 在重试收益与成本上差异很大；没有单一 agent 在所有语言/漏洞类别上都最优，难度更多取决于漏洞类别而非语言。
核心立意：攻击方只需利用一个漏洞，防守方要找齐并修好所有漏洞；此前评测偏重攻击能力，该基准 衡量防御能力是否跟得上。
所属事件:CWE-bench 发布：AI 安全 agent 横评与验收方法论(7 条相关)→
「安全」频道最新
- 开发者称某前沿模型在 WildChat 上误报率高达 96% — amplifiedamp · 2026-11-02
- 研究实测 AI 文本检测：SEO 垃圾内容几乎必被抓，其他话题靠重试可逃 — amplifiedamp · 2026-11-02
- 凯特·布兰切特等好莱坞明星联署力挺 NYT 诉 OpenAI：授权先征得同意 — StanfordAILab · 2026-11-02
- 新研究剖析开发者如何监督自主编程 agent 的真实失败模式 — burkov · 2026-11-02
- 获 1 亿美元注资的 AI 反监管超级 PAC 陷困境，安全派崛起 — ShakeelHashim · 2026-11-02
- Cisco 发现用 Claude 窃密的多模型恶意软件，被拒就换 Kimi 绕护栏 — Hesamation · 2026-11-02