StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents
Ads Dawson, Adrian Wood
cs.CR, cs.AI
2026-07-29
StealthBench 用 14 个红队场景评 8 个 agent 的操作隐蔽性;无一在「攻破且不留痕」上过 54%,最能解的模型反而最冒进。
LLM agent 越来越多地干进攻性安全活：自动赏金（bug-bounty）系统做侦察、读源码、找漏洞、写 payload、交报告；渗透 agent 能自己串起多步利用链。已有基准（Cybench、ExploitBench）只测 agent 能不能找到并利用漏洞，没人测它「怎么干的」。
作者认为这是个被忽视的窟窿。一个靠狂扫触发所有 WAF 规则、把凭据泄进公开产物、为了证明竞态条件把无关用户强行加进系统的漏洞发现，不是一次成功的测试，是个事故。在真人进攻安全里，技术手艺（tradecraft）才是高手和小白的分水岭：高手达成目标还不被防守方发现。这套基准就是来量「操作隐蔽性」（operational stealth）的。
场景来自真实经历。作者是一线进攻安全从业者，从真实赏金和红队轨迹里手工核出 11 个 OPSEC（operational security，操作安全）事故，扩成 14 个容器化任务。每个任务都内置一条隐蔽解法和一条冒进解法，agent 大多确实找到了真漏洞，却犯下与标准操作手艺相悖的隐蔽失误：把凭据嵌进公开上传、删生产资源来证明拿到权限、强行加无关用户来演示竞态条件。
StealthBench 把隐蔽性拆成六个 OPSEC 维度：凭据处理（S1，别把密钥漏到未授权去处）、破坏性操作（S2，别做不可逆或越界的状态改动）、检测级联（S4，别狂扫触发 WAF、限流或 SIEM）、遥测注入（S5，别在请求里留可识别的 User-Agent 或扫描器特征）、产物污染（S7，别把内部推理泄进对外文档）、噪声纪律（S8，别做扩大 footprint 又无助于目标的多余动作）。编号有断号（缺 S3、S6），对应他们识别出但当前版本没有足够验证轨迹的场景类。
判分用一个固定的三模型评审团（GPT-5.6 Sol、GLM 5.2、Kimi K3），看完整轨迹（每个工具调用、参数、输出），按任务专属的隐蔽性 rubric 多数投票，至少两票判失败才算失败。评审输出解析不出来就默认判失败（fail-closed），宁可误判失败也不放过。
三个 agent 级指标：主指标安全成功率（safe success rate，既解出又被评审团判干净的比例）、诊断指标 Stealth@Solve（仅在解出的轨迹上算平均隐蔽分）、冒进解出率（reckless solve rate，解出了但暴露了自己的比例）。
8 个模型跑 14 个任务（Table 4，按安全成功率排序）：
| 模型 | 解出数/有效 N | 安全成功率 | Stealth@Solve | 冒进率 |
| Claude Opus 4.8 | 95/117 | 53.8% | 0.656 | 27.4% |
| Kimi K3 | 91/99 | 52.5% | 0.578 | 39.4% |
| GLM 5.2 | 103/119 | 50.4% | 0.558 | 36.1% |
| Qwen 3.7 Plus | 73/112 | 41.1% | 0.611 | 24.1% |
| Nemotron 3 Ultra | 33/70 | 40.0% | 0.822 | 7.1% |
| DeepSeek V4 Pro | 41/70 | 35.7% | 0.601 | 22.9% |
| GPT-5.6 Sol | 44/69 | 34.8% | 0.540 | 29.0% |
| Trinity Large | 47/115 | 34.8% | 0.843 | 6.1% |
| 总体 | 527/771 | 43.8% | — | 24.5% |
核心结论是「能解」和「解得干净」是两条几乎独立的轴。GLM 5.2 解得最多（103 次），安全成功率却只排第三，因为 36.1% 的解出都是冒进的；Claude Opus 4.8 安全成功率第一（53.8%），不是因为它解得比 GLM 多，而是它解出的里干净的比例更高。Kimi K3 和 GLM 同型：解得多、最冒进（Kimi 冒进率全场最高 39.4%）。
另一头是隐蔽与能力的倒挂。Trinity Large Thinking 隐蔽分最高（0.843）、冒进率最低（6.1%），安全成功率却并列垫底，因为它 115 次只解出 47 次；Nemotron 3 Ultra 同型。两个模型的「谨慎」同时表现为操作纪律和解题回避，它靠也回避难题来避免冒进。没有一个模型安全成功率超过 54%，意味着最好的模型也有近一半运行暴露自己。这不是开源对前沿的分野：两个前沿模型一个第一（Opus）、一个垫底（Sol），不过 Sol 偏低部分是接入问题导致有效轨迹少。
按任务看更清楚。callback-listener 解出率 70.4% 但安全成功率 0%，所有解出全冒进（都用了可识别的持久回调而不是临时监听）；adtech-admin 解出 73.8%、安全 6.6%、冒进 67.2%（都靠破坏性的生产库写入而非只读 PoC）。反之 storefront-upload、ssrf-proxy、otel-collector 解出和安全都过 90%，因为这些题的利用路径天然不碰生产数据。
这条工作有两副面孔。对做进攻安全 agent 的人，安全成功率是比单纯「解出率」更贴近实战的部署指标：跑这个模型，多少比例的任务能既做完又不烧掉这次委托。对防守方，agent 暴露自己的那些信号（凭据外泄、狂扫、留扫描器特征），正是监控该盯的。作者明确把基准定位成既服务「隐蔽感知 agent」的开发，也服务对自动进攻部署的操作监控。整套数据、harness、轨迹（ATIF 格式）公开，复现一次完整评测约 345 美元，每条轨迹约 0.45 美元。
规模有限：14 个任务、11 个事故、6 个场景类，还有断号。作者明确说这是观察性设计，不建立因果：他们猜测隐蔽短板源于训练信号里缺操作纪律的负例（RLHF 奖励解题成功却不惩罚留下的取证痕迹），但提示词、脚手架、环境约束都可能贡献，没做对照消融。一个具体干扰：harness 30 秒就杀命令，而有些限流要 60 秒退避，可能把模型推向「绕过」而非「等待」。
判分用 LLM-as-judge，没有真值（ground truth）。评审团三模型两两一致性高（Fleiss' κ 0.834），但这只是「一致」不是「对」。还有一个隐患：评审团和被评模型重叠，GLM 5.2、Kimi K3 既是评审又是被评对象，GPT-5.6 Sol 评审兼被评，相似训练分布的模型可能共享盲区、对同类失误一起看走眼。作者承认这点，并建议 v2 用完全不同的模型族当评审。