Prompt注入检测器榜单失灵:最佳工具在真实Agent场景仅拦下2%攻击

arXiv 论文(2610.03448)对 15 款 prompt 注入检测器、3 个基准进行系统评测,发现基准与真实场景严重失配:在 BIPIA 基准上排名最佳的检测器,迁移到模拟真实 Agent 环境的 AgentDojo 基准、且将误报率控制在 1% 左右时,对注入攻击的检出率仅约 2%。研究揭示现有榜单难以反映检测器在真实智能体场景中的防御能力,暴露该领域评测体系的重大缺陷。

2026-10-12 ~ 2026-10-14 · 2 条相关