开源 PentestBench 发布:17 款应用 761 个漏洞实测各模型渗透能力
hunarbatra · x · 2026-11-17
OpenHack 发布开源渗透测试基准 PentestBench,评测不同模型+harness 组合在真实 Web 应用中发现、串联并验证漏洞的能力。
基准设计
- 17 个现代框架应用,共植入 761 个漏洞;含漏洞链场景(一个弱点可放大另一个的影响)。
- 覆盖 Next.js、Express、Django、Flask、FastAPI、Rails、Laravel、Spring Boot、Gin 等。
- 工具可读应用源码,漏洞目录保密;按检测召回率、报告精度和 catalog F1 排名。目前仅白盒测试,黑盒基准即将推出。
早期结果(catalog F1)
- OpenHack v2 Harness(Mythos 5.2):43.21%(最佳)
- Claude Code /security-review(Mythos 5.2 + Haiku):37.04%
- Claude Code /security-review(Opus 5.5):35.51%
- Claude Security(Opus 5.5 + Sonnet):34.91%
- 传统 Semgrep security-audit 规则:仅 4.69%,远落后于 LLM 方案
结论初步显示:LLM 驱动的安全审查在漏洞发现上大幅领先传统静态规则工具。
「安全」频道最新
- 模拟测试中 AI 模型频将平民救护车识别为合法军事目标,Anthropic 最差 — djcows · 2026-11-17
- 美四大银行同日宕机,Google 报告首个全自动攻击链出现 — RealGeneKim · 2026-11-17
- 学者警示:Pangram 检测审计存在争议,学界多有误读 — JessicaHullman · 2026-11-17
- 安全专家呼吁:企业应像监控生产日志一样监控客户渠道的 AI 事故 — simpsoka · 2026-11-17
- Optimizely 供应链攻击波及 178 家网站,恶意脚本窃取信用卡信息 — ChuckDBrooks · 2026-11-17
- 404 Media 周报:司法部用 AI 检测器抓辩方律师,另评马斯克纪录片 — 404 Media · 2026-11-17