预订过期 agent 能否察觉:一个暴露状态缓存陷阱的实测方法
jylusdev · reddit · 2026-11-18
Reddit 用户 jylusdev 提出一个简洁的 agent eval 设计:让预订工具返回一条 09:00 创建、有效期至 10:30(结束时间为排他边界)的预订记录,且系统不会在过期时发出独立事件。
测试方法:
- 分别在 10:29 和 10:30 询问 agent 该预订是否仍有效,两次给出同一份原始记录、只改问题里的时间。正确答案是前者 yes、后者 no。
- 再省略过期时间字段,让 agent 无从得知持有何时结束——此时记录只支持「09:00 下过单」,当前状态应判为 unresolved。
作者还建议同时检查证据引用:引用里应保留过期时间和 agent 评估时用的参照时间。如果工具缓存了解析后的状态字段,试试不刷新源数据再问一次,看缓存里的「active」是否活过了截止时间。这套测试专门针对 agent 把「解释过的状态」当事实、忽视时间边界和缓存失效的常见错误。
「编程与Agent」频道最新
- 3 个提示词造出桌面版 Agent IDE:Sable 统一托管 Claude Code 与 Codex — churchkey · 2026-11-18
- OpenHands Teams 上线:自助服务把 CVE 修复流程自动化 — rajistics · 2026-11-18
- Agent 任务树并发上限易死锁,slot lending 模式可破解 — arpit_bhayani · 2026-11-18
- 微软发布 GraphRAG Zero:图检索走向生产级,已接入 Foundry IQ — 0xkarasy · 2026-11-18
- GitHub 为读屏器用户发布 Copilot 应用无障碍使用指南 — 0xkarasy · 2026-11-18
- AI剪10分钟视频耗2000-3000万token,20分钟成本几乎不变 — MatthewBerman · 2026-11-18