CMU 发布 ExploitBench:把 LLM 网络攻击能力做成「阶梯」评测
goyal__pramod · x · 2026-11-23
作者连读约 20 篇网络安全评测论文后,称这是目前最好的一篇——CMU 的 ExploitBench。
核心设计
- 论文认为「漏洞利用不是二值事件,而是能力阶梯」:从触发一条 bug 到完全控制目标,是渐进式能力获取过程
- 现有 LLM 安全 benchmark 把崩溃当作利用成功,掩盖了从触发 bug 到构造可复用原语、再到实现控制的难点
- ExploitBench 用「能力阶梯」度量模型在哪一步卡住、以及改进轨迹
实测亮点
- 对 12 个 Tier-3+ 活动最多的 bug 逐 turn 记录能力解锁曲线
- Mythos Preview 的能力爬升比其余 8 个 agent 更高、饱和更晚
作者特别推崇设计章节:「那 3 页的知识量超过我读过的 100 页」。
所属事件:CMU 推出 ExploitBench,将 LLM 网络攻击能力阶梯化评测(2 条相关)→
「安全」频道最新
- OpenAI 首次公开内部预训练困惑度曲线,提议以 perplexity 定行业安全标尺 — merettm · 2026-11-23
- Dario Amodei 国会听证放话:开源 AI 正走向危险失控 — ylecun · 2026-11-23
- Anthropic 现场供电 80% 为简易循环燃气轮机,年健康损失或达 20-30 亿美元 — petrusenko_max · 2026-11-23
- 写作者集体请愿:给 Gemini 加 18+ 年龄验证与内容分级开关 — Hikkynure · 2026-11-23
- Windows 11 被扒出隐藏遥测模块,专门监控你用哪家 AI 写代码 — cyb3rops · 2026-11-23
- 研究者称AI揭示的IT基础设施漏洞早已存在,加固后反更安全 — JHochderffer · 2026-11-23