CyberGym-E2E-AA 榜单:模型需三步通关真实开源漏洞修复
ArtificialAnlys · x · 2026-10-01
Artificial Analysis 公布 CyberGym-E2E-AA 基准排行榜的完整方法学,该基准是 Berkeley RDI 的 CyberGym-E2E 的实现版本:
- 任务设定:从 Google OSS-Fuzz 的 920 个真实 C/C++ 内存安全漏洞(覆盖 FFmpeg、CPython 等 139 个开源项目)中按难度筛选出 131 个任务,每项目一个。
- 通关标准:三阶段计分——agent 写出 PoC 使未修补版本触发 sanitizer 崩溃、补丁消除该崩溃、且项目原有功能测试全部通过;是否同时修复官方漏洞仅作诊断记录不计分。
- 执行环境:每个任务在基于 OSS-Fuzz 构建镜像的隔离沙箱中运行,使用自研 Stirrup agent harness,单任务限时 90 分钟;主动放弃判定得零分。所有评测由 Artificial Analysis 独立进行。
所属事件:Artificial Analysis 发布防御性网络安全基准 CyberGym-E2E-AA(2 条相关)→
「安全」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 仅信机械可解释性报告,AI 检测结论须给出因果证据 — madeofAjala · 2026-11-16
- 模型对齐致害无人担责,研究者称法律责任真空是灾难 — LuizaJarovsky · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16