本地支持代理的注入测试
jokiruiz · reddit · 2026-07-14
作者用 **Mistral Small 本地模型**（通过 Ollama）搭了一个 Flask 支持 agent：读取订单、决定是否退款，然后专门测试它对提示注入的抗性。 结果显示： - **朴素 prompt** 下，模型会接受伪造的 `SYSTEM` 指令，直接批准不该发的退款。 - 加上 **防御型 prompt** 后，同一模型在同一机器上开始拒绝攻击，并能引用政策说明原因。 - 作者认为差异几乎只是 **5 行文本**。 额外观察： - Ollama 的 `format: json` 能解决大部分 JSON 输出不稳定问题。 - 更强的大模型也不一定救得了坏 prompt；作者还提到 Sonnet 能抗注入，但会在一个没定义清楚的业务规则上失败。 - 他在找更好的 **全本地** 测试方案，顺带问有没有比 promptfoo 更合适的工具。