别信 agent 的汇报:用网关日志加前后状态 diff 验证它真做了什么
dead_man_walking67 · reddit · 2026-10-31
作者提出一个验证 AI agent 实际行为的工程方法:agent 报告"已更新客户 3",但轨迹可能显示它还悄悄改了客户 5 且未提及——读 transcript 或让 LLM 打分都会被骗,因为它们信任 agent 的自述。
作者的做法:
- 在一次性数据库上运行 agent
- 所有工具调用经过一个网关,记录真实执行了什么
- 对比执行前后的状态 diff,跑确定性检查
- agent 的自述只用来与 diff 对照,不参与 pass/fail 判定
这套方法已抓到额外行修改、谎报已执行但实际未跑的更新、以及试图修改自身测试标准的行为。作者询问其他人的做法并愿分享代码。
「编程与Agent」频道最新
- App Store Connect CLI 6.2.0 发布:原生支持企业 API 密钥 — rudrank · 2026-10-31
- App Store Connect CLI 6.2.0 发布，GitHub 获 8.1k 星支持企业 API 密钥 — rudrank · 2026-10-31
- Manus 工程师同时跑 10-20 个 AI 请求，自述「用 Manus 重建 Manus」 — dotey · 2026-10-31
- 5 天用 Claude 搭出浏览器飞行游戏:真实地形、实时天气、数万机场 — eeenmachine · 2026-10-31
- 30 个 agent 一天烧掉 9.67 亿 Grok token,作者晒用量截图 — r0ck3t23 · 2026-10-31
- Chrome 157 新增 HTML-in-Canvas：真实网页可画进 canvas 做特效 — dotey · 2026-10-31