LLMail-Inject 发布：20.8 万条真实提示注入攻击数据集
niloofar_mire · x · 2026-10-25
- EMNLP 2026 Findings 海报：LLMail-Inject 是来自真实自适应提示注入挑战赛的数据集，839 名参与者针对带防御的 LLM 邮件助手提交了 46.1 万次攻击、20.8 万条独特攻击提示，覆盖 64 个子级别与 2 个防御强化阶段。
- 关键发现：现有基准高估了鲁棒性——无优化下 GPT-4o 攻击成功率 58%、GPT-5-mini 47%，远高于此前研究报道的约 22%；端到端成功不足 1%（46.1 万提交中仅约 6K 触发正确请求）。
- 上下文感知防御（如 LLM judge，召回 99.8%）明显优于单一检测器，组合检测器召回可达 99.8% 但需更多算力并带来约 10% 误报；攻击可迁移到日历删除、编码 agent 等新目标。
- 发布内容包括 LLM-Attack（2.9万）、LLMail-Evasive（3千）、3.7K 强化防御下的攻击及 13 万条带标注交互，附完整分析代码；团队同时在招隐私与 contextual integrity 方向博士/博后。
「安全」频道最新
- levie 谈企业安全现实：风险面碎片化，单一方案救不了任何企业 — scottleibrand · 2026-10-26
- 前沿攻防对抗升级，安全模型或率先催生量子计算需求 — BenBajarin · 2026-10-26
- 观察:Reddit 禁开源 AI 模型,未来漏洞泛滥谁来补? — dreamwieber · 2026-10-26
- 人物数据追踪网站的生意经：先用你的信息引流，再收费让你删除 — NickPassig · 2026-10-26
- 前 AI 创业公司员工:安全是成本中心,CISO 预算困境拖慢行业投入 — annetgriffin · 2026-10-26
- 安全圈另类社交礼仪：用 0-day PoC 当 DM 开场握手 — generativist · 2026-10-26