Agent 测试全绿但 API 密钥已泄露:200 行开源验证工具

rudra-sh · reddit · 2026-10-13

开发者分享一个演示:浏览器/工具型 agent 被 prompt injection 后通过工具把密钥外传,却回复「全部完成 ✅」——若测试只检查 agent 输出就会误判通过。作者写了约 200 行、零依赖的 agentverify:不看 agent 说了什么,而是在运行结束后检查真实世界状态,确认密钥是否真的外泄;还测试 guardrail 失效时是否 fail-closed,并在策略变更悄悄破坏原有保护时告警。作者称思路不新(Pipelock、微软 RAMPART 是重型版本),目标是做得足够小可读。MIT 协议开源。