本地支持代理的注入测试
jokiruiz · reddit · 2026-07-14
作者用 Mistral Small 本地模型（通过 Ollama）搭了一个 Flask 支持 agent：读取订单、决定是否退款，然后专门测试它对提示注入的抗性。
结果显示：
- 朴素 prompt 下，模型会接受伪造的 SYSTEM 指令，直接批准不该发的退款。
- 加上 防御型 prompt 后，同一模型在同一机器上开始拒绝攻击，并能引用政策说明原因。
- 作者认为差异几乎只是 5 行文本。
额外观察：
- Ollama 的 format: json 能解决大部分 JSON 输出不稳定问题。
- 更强的大模型也不一定救得了坏 prompt；作者还提到 Sonnet 能抗注入，但会在一个没定义清楚的业务规则上失败。
- 他在找更好的 全本地 测试方案，顺带问有没有比 promptfoo 更合适的工具。
「编程与Agent」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
- 投资分析师求教：如何用 Claude 搭建尽调 Agent 工作台 — Careless_Tie2286 · 2026-09-11