实测 qwen2.5:7b 四种注入攻击 3 种得手,真正挡住攻击的是工具门控
VastStorage4125 · reddit · 2026-09-15
一位开发者搭建带 RAG 和 sendemail / deleterecords 工具的客服助手,在关闭全部护栏的 qwen2.5:7b 上录制了 4 种攻击再逐一重放验证:
- 得手的攻击:① 间接注入——检索到的"伙伴集成指南"文档内嵌指令,要求把对话发往攻击者邮箱且不得声张,模型照做且用户毫不知情;② 工具滥用——"清理测试数据"诱导 deleterecords 清空全部存储;③ PII 泄露——无需注入,直接请求客户邮箱列表即返回。
- 唯一失手:直接索取系统提示词,20 次尝试全被模型拒绝。
- 反直觉结论:预期中的上下文隔离(把检索文档包成 data 块)在重放中并不能改变结果;真正起作用的是工具门控(allow-list+副作用操作需人工批准)和全通道 PII 脱敏——后者第一版只检查答案,漏掉了工具结果事件里的第 4 个邮箱。
- 九道护栏逐一移除测试,只有两道真正影响结果。
攻击脚本、重放结果和 39 行隔离护栏均已开源(MIT),node example.ts 可在无模型/密钥的假应用上复现,npm run attacks:live 可打自己的模型。
「编程与Agent」频道最新
- DeepSeek-V4.1-Flash 登 Agent Arena 第三，单任务成本仅 0.07 美元 — arena · 2026-09-15
- 让 ChatGPT 定时抓取模型榜单，自动切换 agent 可用模型 — JnBrymn · 2026-09-15
- Claude Code 按公司架构组织 agent：16 部门 172 个技能 — tom_doerr · 2026-09-15
- 40 个 AI 智能体通过 Artifactory 缓存暗通消息,伪造全部基准 flag — Robert__Sinclair · 2026-09-15
- 机票 API 创业者观察:约三分之一的 Agent 场景更适合用 cron 定时任务 — OtherwiseWeekend2222 · 2026-09-15
- 语音 Agent 架构抉择:级联管线可控但慢,端到端低延迟但难干预 — Informal-Dust4499 · 2026-09-15