The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
Jeremy Spence, Nicholas Assaderaghi, Feng Xiao, Jinhao Zhu, Nikil Ravi, Xiangyu Qi, Matthew Jagielski, Raluca Ada Popa, Eric Wallace, Guannan Wei, Yangruibo Ding, Zhuo Zhang
cs.CR, cs.AI, cs.SE
2026-08-12
SRE-Bench 从零构建 19 个程序、262 个二进制,公开设置下 GPT-5.6-Sol 全解率 31.5%。
安全上要紧的软件常常只有二进制。CISA 2026 年在野利用清单里,46.5% 的漏洞来自不公开源码的厂商;Google 称 2025 年超过 48% 的零日打在专有企业软件上。新恶意样本大约每天 73.2 万个,而且故意做得难拆。源码可见时,agent 的漏洞发现和利用开发已经很强。二进制得先做逆向工程（reverse engineering, RE）,从机器码里把程序行为捞出来。
公开 CTF 和开源项目会进训练集,模型认出目标就能跳过理解。逆向更怕这种泄漏,粗到程序用途都够当提示。从零写的题又太小：CREBench、AgentRE-Bench、CrackMeBench 平均 526.2、63.5、36.1 行,保护停在字符串异或或几百行虚拟机。
SRE-Bench 把程序、评分器和保护全部从零写。哥伦比亚大学牵头,合作方有 Google DeepMind、UC Berkeley、OpenAI、Anthropic、Tufts、UCLA 和 Vals AI。平均六年经验的工程师投入 5000 小时以上,完成 19 个私有程序：加密协议、20 层终端 roguelike、专有压缩格式、沙箱合成植入体、自研安全微控制器固件。C、C++、Rust、Go 四套实现不共享源码,合计 321401 行,平均 16915.8 行,是已有逆向基准的 30 到 470 倍。
每个二进制六个任务,只判行为。协议限 64 条消息,状态机要走到顶。游戏交操作轨迹,验证器重放六个隐藏行为。压缩器没有解码器,输出必须逐字节一致。植入体要清掉六类模拟恶意行为,同时保住良性数据。固件经仿真器的类 JTAG 接口,在 5000 条命令内逐级拿控制权。参考解稳定 6/6。
保护套件超过 27000 行,44 个原语分九族,过半没有公开实现。测量值折进按页密钥,调试、篡改、转储都不会留下一个可删的退出判断,只会导致解出错误页。16 个非固件程序各含 8 个未加固构建（优化、去符号、动静链接全组合）和 8 个保护预设；3 个固件只变优化级别,共 6 个实例。共计 262 个二进制、1572 个任务。
Opus 4.8 和 GPT-6-Astra 被用来对真评分器找捷径。早期版本把隐藏行为的名字留成明文字符串,扫字符串就命中触发条件。字符串删掉之后,同类泄漏会让构建失败。文中架构用 Codex GPT-4 mini、200 次请求就能从二进制还原,密钥和触发条件仍然没写。
公开设置统一 mini-SWE-agent,护栏打开,最高推理档,500 步、6 小时封顶。工具含 Ghidra、radare2、GDB、angr,评分器不在场。下表只计能打分的运行。
| 模型 | 可评分 | 均分/6 | 全解 | 零分 | 美元/题 |
| GPT-6-Astra | 181 | 5.55 | 82.3% | 3.9% | 13.5 |
| GPT-5.6-Sol | 254 | 3.69 | 31.5% | 16.1% | 42.5 |
| Claude-Fable-5.1 | 223 | 2.58 | 26.9% | 43.0% | 34.7 |
| Claude-Opus-5 | 256 | 1.91 | 12.5% | 46.1% | 23.6 |
| GPT-5.5 | 262 | 1.02 | 3.8% | 56.5% | 17.8 |
| DeepSeek-V4.1-Flash | 262 | 0.85 | 0.8% | 63.4% | 0.5 |
| Grok-4.5 | 218 | 0.45 | 0.9% | 73.4% | 13.5 |
| GLM-5.2 | 262 | 0.21 | 0% | 82.8% | 26.6 |
均分相差超过 25 倍。Astra 单题 13.5 美元拿到 5.55,但可评分只有 181/262,82.3% 全解率（149 题）不能当成全部题目的成功率。Sol 全解 80/254,Fable 全解 60/223,后者零分占 43.0%。DeepSeek-V4.1-Flash 只要 0.5 美元,均分 0.85。GLM-5.2 花 26.6 美元,均分 0.21,全解为 0。花钱多少对不上分数。
领域比语言更能分开模型。多数模型 C 好于 Rust 和 Go；Astra 相反,Go 5.89、C 5.22。恶意样本最低,Fable-5.1 为 0.19,评分要求同时清恶意、保良性、停行为。固件仅 6 题,Sol 为 6.00。
优化和静态链接对前四名几乎透明。去符号才伤弱模型：最弱四个掉 50% 到 71%,Sol、Fable、Opus 掉 10% 到 15%,Astra 从 5.39 到 5.36。
同一构建加上保护后,Sol 从 4.69 降到 2.50,Fable 从 5.33 掉到 0.32,其他非 Astra 模型不超过 0.33。Astra 从 5.83 到 5.73,每分花费是未加固的 1.5 倍,Sol 为 3.4 倍,更弱者最高 35.3 倍（得分很少时倍率不稳）。八个预设里 Astra 保持 5.25 到 6.00,Sol 为 1.93 到 3.19,其余每一档都低于 0.6。
内部评测关护栏、不设预算,16768 次尝试、23.7 亿输出 token,折合约 56.6 万美元。Max 档 Astra 的 pass@1 为 88.0%、pass@4 为 99.2%,Opus 5.5 为 82.1% 和 98.1%。Sol 的 pass@1 从 Medium 的 5.8% 到 Max 的 55.8%。Astra 有 191 题四次全过,2 题全失败,69 题成败并存；1048 次里 126 次未满分。挑选正确提交没有被测。
消融固定 8 种未加固构建。约 1100 行的小程序,两个模型都 8/8,不超过 1.60 美元、7 分钟。约 200 行改动的 gzip 变体也全过,花费 2.19 到 2.78 美元。私有且够大的 RevCompress 上,Sol 为 5.62 分、7/8,31.45 美元、94.6 分钟；GPT-5.5 为 3.75 分、3/8,24.37 美元、97.4 分钟。
源码安全的高分替代不了二进制能力。闭源设备、固件和恶意样本都得先逆向,利用开发被故意留在评分外面。
强模型不太怕优化和链接,弱模型怕没了符号。自研保护在公开设置里把 Astra 以外的模型压到接近零,只测未加固二进制会看高中段模型。预算放开后,四次尝试里出现正确答案已经接近饱和,没有评分器时选哪一次。内部全评要几十万美元,题也不外发。
19 个程序是洁净室的直接代价,5000 小时换不来更宽的池子。平均 16915.8 行也到不了几十万行的系统。
公开分条件于没拒答、没爆上下文。Astra 的游戏和固件分域为空,5.55 不能外推到全部 262 题。Grok-4.5 大量失败来自上下文窗口,0.45 只覆盖 218 题。内部换了脚手架并关掉护栏,不能和公开表横比。恶意样本说明多一句计分规则,Opus 5.5 的 pass@1 就从 76.3% 升到 82.1%。
固件 6 题上的 6.00 站不稳。保护套件自述为早期版本,只负责把分析成本拉开。对 agent 的拒绝提示是负结果,强模型一步识破,有时反而变成路标,因此默认关闭。69 题成败并存,选择器没有数字。