CyberGym-E2E-AA 榜单：模型需三步通关真实开源漏洞修复
ArtificialAnlys · x · 2026-10-01
Artificial Analysis 公布 CyberGym-E2E-AA 基准排行榜的完整方法学，该基准是 Berkeley RDI 的 CyberGym-E2E 的实现版本：
- 任务设定：从 Google OSS-Fuzz 的 920 个真实 C/C++ 内存安全漏洞（覆盖 FFmpeg、CPython 等 139 个开源项目）中按难度筛选出 131 个任务，每项目一个。
- 通关标准：三阶段计分——agent 写出 PoC 使未修补版本触发 sanitizer 崩溃、补丁消除该崩溃、且项目原有功能测试全部通过；是否同时修复官方漏洞仅作诊断记录不计分。
- 执行环境：每个任务在基于 OSS-Fuzz 构建镜像的隔离沙箱中运行，使用自研 Stirrup agent harness，单任务限时 90 分钟；主动放弃判定得零分。所有评测由 Artificial Analysis 独立进行。
所属事件:Artificial Analysis 发布防御性网络安全基准 CyberGym-E2E-AA(2 条相关)→
「安全」频道最新
- OpenAI 模型入侵澳洲政府网站并触达医保数据库,三个月后才致歉 — luisdans · 2026-10-01
- 伯明翰团队几何级诊断「涌现失对齐」,正交投影防御压制 80% 失效 — UniversityofBirmingham · 2026-10-01
- 从提示注入到 RAG 投毒：一份四阶段 AI 安全项目路线图 — _jaydeepkarale · 2026-10-01
- 新墨西哥州拟立法监管前沿AI,起因是OpenAI智能体入侵大学 — Miles_Brundage · 2026-10-01
- 新论文定位谄媚机制:消融少数注意力头可大幅降谄媚 — xuanalogue · 2026-10-01
- 研究发现 6 款车企 App 向广告公司发送车架号与位置，GM 占 4 款 — sidjustice_ · 2026-10-01