629 次真实注入攻击实测:Prompt Guard 2 调阈值后从 1% 跃升至 99%
rudra-sh · reddit · 2026-09-28
作者为 AI agent 工具调用构建策略防火墙时,把 AgentDojo 的 629 个注入攻击嵌入真实工具输出(邮件、账单、评论)中,加上 97 条正常输出,本地 CPU 实测 10 个开源注入检测器。
- 默认阈值下:Jailbreak-Detector-Large 最优,仅捕获 51%、误拦 2%;ProtectAI DeBERTa v2 单独评分可抓全部 27 种攻击文本,混入正常文本后只剩 23%;Meta Prompt Guard 2 (86M) 只抓到 6/629,22M 版抓 0。
- 阈值按「误拦不超过 2% 正常流量」重新调优并跨域测试后排名反转:Prompt Guard 2 未知域捕获率升至 99%(阈值 0.003),而 deepset 从 100% 崩到 0%,Preamble 从 88% 跌到 3%。
- 作者也警告:AgentDojo 所有攻击共用同一模板,微调后的阈值可能只是认出了模板;0.003 也偏脆弱、正常样本仅 97 条。
三条经验:1) 永远不要相信检测器开箱默认阈值,要在自己的流量上调优;2) 报告捕获率必须同时报告误报率;3) 只看文本不够,rm -rf /、读 /.ssh/idrsa、curl | sh 这类危险调用根本不是「注入」,最终决策应在工具调用层——检查参数来源和调用后果。全部可复现,仓库 buried-injections 支持 make targets 和一行接入新检测器。
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16