Dawn Song 团队发布 CyberBinGym：AI 仅凭二进制补丁即可写出真实漏洞利用
Dawn Song 领导的 UC Berkeley 团队联合 NUS、UC Riverside、UC Santa Barbara 发布新基准 CyberBinGym，测试 AI Agent 仅凭已编译的 stripped 二进制补丁（无源码、无漏洞描述、无 PoC）能否把安全补丁还原成可用的漏洞利用。实测显示前沿 Agent 已具备这一能力，其中 Codex 漏洞复现率达 88%、端到端利用 20%，作者据此指出补丁发布到部署之间的窗口期正变得前所未有地危险。
已确认
- 基准设置：任务覆盖 53 个开源项目中的 100 个真实漏洞，横跨六类漏洞家族、三个分析难度层级；Agent 只拿到漏洞版和修补版两个 stripped 二进制。
- 评分设计：把「漏洞复现」（PoC 在漏洞版触发 sanitizer 失败、修补版不触发）与「端到端利用」（从独立受害服务中窃取 secret）分开计分，理由是崩溃不等于可利用。
- 成绩单：Codex（GPT-5.6 Sol）漏洞复现 88%、利用 20%；Claude Code（Claude Opus 5）85%/6%；Kimi Code（Kimi K3）利用为 0。
- 补丁即线索：在 20 个匹配任务上，给 Codex 提供修补后的二进制后，exploit 成功率从 10% 升至 25%（2.5 倍），且平均单任务成本下降——即使已编译，补丁 diff 也泄漏信息。
- 缓解效果：把 Codex 成功利用的 20 个目标用标准二进制加固（stack canaries、PIE、full RELRO、NX、Fortify）重新编译后，成功 exploit 从 20 个降到 2 个。
- 论文已上线 arXiv，编号 2611.10723。
为什么重要
- 这是团队继 CyberGym 与 ExploitGym 之后继续为前沿 AI 的真实网络攻击能力建立标尺；ExploitGym 此前还意外暴露了 OpenAI–Hugging Face 相关事件（帖中提及模型层面风险）。
- 结果表明补丁本身成为攻击线索：作者建议尽快部署补丁，并在更新落地前叠加仍能生效的分层防御（如二进制加固），因为标准加固即可将 AI 的成功利用从 20 个压缩到 2 个。
2026-11-12 ~ 2026-11-12 · 9 条相关
一手来源
- Dawn Song 团队发 CyberBinGym：AI 仅凭二进制补丁 20% 可写出真实漏洞利用 — dawnsongtweets ·
- CyberBinGym 成绩单：Codex 漏洞复现 88%、利用 20%，Kimi 利用为 0 — dawnsongtweets ·
- CyberBinGym 论文上线 arXiv：Dawn Song 团队联合四校发布完整资源 — dawnsongtweets ·
- 【源头】Dawn Song 团队发 CyberBinGym：AI 仅凭二进制补丁 20% 可写出真实漏洞利用 — dawnsongtweets · 2026-11-12
- 从 CyberGym 到 CyberBinGym：OpenAI–HF 事件后继续给 AI 网攻能力标尺 — dawnsongtweets · 2026-11-12
- CyberBinGym 设置：53 个项目 100 个真实漏洞，Agent 只拿 stripped 二进制 — dawnsongtweets · 2026-11-12
- 「崩溃不等于利用」：CyberBinGym 为何把漏洞复现与利用分开计分 — dawnsongtweets · 2026-11-12
- 【源头】CyberBinGym 成绩单：Codex 漏洞复现 88%、利用 20%，Kimi 利用为 0 — dawnsongtweets · 2026-11-12
- 补丁即线索：给 Codex 补丁二进制后利用率从 10% 翻到 25% — dawnsongtweets · 2026-11-12
- CyberBinGym 实测：标准二进制加固把 20 个 AI exploit 压到只剩 2 个 — dawnsongtweets · 2026-11-12
- CyberBinGym 结论：补丁发布到部署的窗口期正变得前所未有地危险 — dawnsongtweets · 2026-11-12
- 【源头】CyberBinGym 论文上线 arXiv：Dawn Song 团队联合四校发布完整资源 — dawnsongtweets · 2026-11-12