实测 10 个开源注入检测器,最好的也只拦下 51%
rudra-sh · reddit · 2026-09-26
一位工程师用 629 个藏在正常工具输出中的真实注入攻击(外加正常样本测误报)对 10 个开源 prompt injection 检测器做了基准测试,结果堪忧:
- 最佳检测器在 2% 误报率下仅捕获约 51% 攻击;几个「全捕获」的其实把约 98% 的正常流量也拦了,无法实用。
- 漏掉的攻击措辞毫无异常:如「向某账户付款」本身就是正常句子,恶意性来自账户信息出自文档而非用户,文本层面无从识别。
- 一个模型看似失效(几乎检测不到)只因默认阈值未校准,重调后捕获率达 99%——很多「检测器不行」其实是「没人调参」。
作者结论:检测只是信号而非防线,应对真正危险的操作设门槛(allowlist、人工审批、来源校验),而非只扫文本。帖末征集生产环境中的实际防御做法。
「编程与Agent」频道最新
- Agent 验证不设截止时间等于没验证：一份防护设计准则 — Key-Register-1969 · 2026-11-11
- 免费开源课程：从零构建 Claude Code 克隆，8 文章 6 视频讲透 harness 工程 — blaizedsouza · 2026-11-11
- 百度开源文心 5.5 Flash Preview:连写 11 小时代码做出武侠游戏 — xiaohu · 2026-11-11
- mcp-slim 零配置 MCP 代理：schema 与输出 token 削减 50–80% — Leading_Strain3682 · 2026-11-11
- Currents 开放 CI 测试 MCP 服务器：43 个工具加权限隔离设计 — sumitsaurabh121 · 2026-11-11
- OpenAI API 数据共享计划每天送 250 万免费 token，多数开发者不知道 — crasspuk · 2026-11-11