CyberArena:攻防智能体同场对决,第三轮攻破率跌至 35%~52%
jiqizhixin · x · 2026-11-21
来自 2077AI、UC Berkeley、UC Santa Cruz、UCSB 等机构的研究者在 arXiv 发布 CyberArena,一个让网络安全智能体在动态对抗中互相攻防的评测环境。
- 同时攻防:两个智能体在隔离沙箱中同时担任攻击与防守角色——既要利用对方服务的漏洞,又要给自己打补丁并保持正常功能;flag 每轮轮换,靠过期访问无法维持得分。
- 规模:覆盖 12 个模型+harness 组合、40 个挑战、466 场对战,并用动态评分模型从对战遥测中估计攻防能力。
- 关键发现:在 30 个三家系统单机模式都能解决的挑战上,进入实战对抗后第三轮攻破率分别跌到 52%、37%、35%,说明主动防御会显著改变测得的成功率。
结论:传统「Jeopardy 式」静态评测高估了安全智能体的实战能力,对抗环境下的表现才是真实水平。
「安全」频道最新
- 黄仁勋再放话:开源模型比闭源更安全,"恰恰相反" — dansitu · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- OpenAI 发布用户模拟器,团队为其搭建全新安全测试基准 — niloofar_mire · 2026-11-21
- 新论文:LLM Agent 用「战略模糊」在公共频道里秘密结盟 — niloofar_mire · 2026-11-21
- 新论文:语言模型可重写自身权重实现自我改进 — lwhsiao · 2026-11-21
- 用户说「我有权限」就算数吗?Agent 工具白名单成安全关键 — rcleffke · 2026-11-21