Agent 凭什么回答「没有」?用三个测试夹具验证空结果证据
jylusdev · reddit · 2026-10-21
一位开发者提出 agent eval 的一个关键盲区：当 agent 搜索后回答「没有未分配的工单」时，什么证据能让这个「没有」站得住脚？关键是系统到底检查了完整的工单集合，还是只看到恰好传给模型的那部分记录。
他设计了一个小 eval，用三个测试夹具覆盖三种情形：
- 所有相关工单都被检查且都有负责人——可支持「在检查范围内没有」；
- 一条未分配工单落在工具返回的第一页之外——需要补齐剩余结果才能下结论；
- 某个必需数据源无法读取——存在覆盖缺口。
对应地，他建议工具结果中一并返回查询范围、快照/观测时间、分页完整状态和源读取失败信息，并检查 agent 作答时是否保留这些限制条件。他强调：引用一条「已分配」的工单并不能证明其余工单都已分配，无证据支撑的「none」即使每条引用的事实都正确也应判失败。文末征集大家在工具结果和 eval 中如何表示证据覆盖率。
「编程与Agent」频道最新
- OpenAI、Google、Anthropic 齐发 9 份官方指南：提示工程、Agent 搭建与 601 个用例 — mdancho84 · 2026-10-21
- 开发者推出 Cubicles:给 AI Agent 配独立云桌面,与个人电脑隔离 — Effective-Breath2128 · 2026-10-21
- 开发者烧掉周额度 75% token,用 Codex 和 Claude 造星球大战飞行 demo — jasonkneen · 2026-10-21
- Deep Research API 全托管还是自建循环?开发者求解生产环境选型与成本难题 — kaizakin · 2026-10-21
- 团队改用小型分类器模型:用本地 LLM 严约束生成评测指标再人工标注 — michalmalewicz · 2026-10-21
- 开发者自建云端 Agent 平台：贴个 MCP 地址就自动清完 Resend 联系人 — pramodk73 · 2026-10-21