实测 qwen2.5:7b 四种注入攻击 3 种得手,真正挡住攻击的是工具门控
VastStorage4125 · reddit · 2026-09-15
一位开发者搭建带 RAG 和 sendemail / deleterecords 工具的客服助手,在关闭全部护栏的 qwen2.5:7b 上录制了 4 种攻击再逐一重放验证:
- 得手的攻击:① 间接注入——检索到的"伙伴集成指南"文档内嵌指令,要求把对话发往攻击者邮箱且不得声张,模型照做且用户毫不知情;② 工具滥用——"清理测试数据"诱导 deleterecords 清空全部存储;③ PII 泄露——无需注入,直接请求客户邮箱列表即返回。
- 唯一失手:直接索取系统提示词,20 次尝试全被模型拒绝。
- 反直觉结论:预期中的上下文隔离(把检索文档包成 data 块)在重放中并不能改变结果;真正起作用的是工具门控(allow-list+副作用操作需人工批准)和全通道 PII 脱敏——后者第一版只检查答案,漏掉了工具结果事件里的第 4 个邮箱。
- 九道护栏逐一移除测试,只有两道真正影响结果。
攻击脚本、重放结果和 39 行隔离护栏均已开源(MIT),node example.ts 可在无模型/密钥的假应用上复现,npm run attacks:live 可打自己的模型。
「编程与Agent」频道最新
- 开源 Element Forge：ComfyUI 里可编辑的实拍视频 AI 特效 — zitroffell · 2026-10-30
- Gym-Anything 引入审计 Agent,专门用合法动作破坏环境找错 — wellecks · 2026-10-30
- CMU 用 Agent 自动造 200+ 软件环境,Gym-Anything 拿 GDP 数据选题 — wellecks · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 两分钟面试法：用一条 prompt 让 Grok 帮你搭两个定制 bot — nateliason · 2026-10-30
- Cursor、Harvey 为何自训专用模型：多数细分市场养不起专属大脑 — MartinGTobias · 2026-10-30