本地支持代理的注入测试
jokiruiz · reddit · 2026-07-14
作者用 Mistral Small 本地模型（通过 Ollama）搭了一个 Flask 支持 agent：读取订单、决定是否退款，然后专门测试它对提示注入的抗性。
结果显示：
- 朴素 prompt 下，模型会接受伪造的 SYSTEM 指令，直接批准不该发的退款。
- 加上 防御型 prompt 后，同一模型在同一机器上开始拒绝攻击，并能引用政策说明原因。
- 作者认为差异几乎只是 5 行文本。
额外观察：
- Ollama 的 format: json 能解决大部分 JSON 输出不稳定问题。
- 更强的大模型也不一定救得了坏 prompt；作者还提到 Sonnet 能抗注入，但会在一个没定义清楚的业务规则上失败。
- 他在找更好的 全本地 测试方案，顺带问有没有比 promptfoo 更合适的工具。
「编程与Agent」频道最新
- Agent Field Kit 上线：为生产级 Agent 提供 $29 起的安全应急手册 — alvelda · 2026-10-27
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- 开源项目 Veynod：给 AI 智能体搭一个共享协作工作区 — TKOWNS · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27