能退款能订票的 Agent 上线前,这 7 项安全评测清单必须跑
vivvvekredddit1122 · reddit · 2026-11-15
作者分享了对能执行真实操作(退款、订票、账户变更)的 agent 的上线前评测清单:
- 规则换说法测试:每条硬规则(如「30 天后不退款」)用 10 种以上措辞改写测试,不能只测标准表述。
- 所有权校验:用户能否诱导 agent 对不属于自己的订单或账户执行操作。
- 多轮施压:坏请求不直接问,而是用 4-6 轮对话逐步铺垫逼近。
- 投毒上下文:把指令藏进检索到的文档或工具输出,看 agent 是否照做(间接 prompt injection)。
- 升级路径:该转人工时 agent 是否真的转了。
- 正常流程回归:加固后重跑 happy path,过度矫正本身也是 bug。
- 历史 bug 固化为回归测试:每个修过的 bug 都变成每次发布必跑的测试。
作者还征求对有数据库写权限 agent 的补充检查建议。
「编程与Agent」频道最新
- AI 智能体混入「干活赚钱」智能体网络:3 周成名还辩论机制设计 — adamamcbride · 2026-11-15
- Agent 触发机制之争:webhook 是低频事件利器还是高频场景浪费 — brandon_galang · 2026-11-15
- 《Harness Engineering 的终结》:4B 小模型自动迭代智能体脚手架 — mtizard · 2026-11-15
- 给 Agent 团队取名 ICE 挺好,直到看见「ICE Agents」这个词 — cantrell · 2026-11-15
- 睡前挂 19 个任务:一个编码 agent 的真实工作面板 — jiayuan_jy · 2026-11-15
- 开发者提出:多数 SaaS 应该转型为 MCP server — jonathan_wilke · 2026-11-15