Agent 评测设计实战：时间戳相同时如何让答案不依赖检索顺序

jylusdev · reddit · 2026-10-31

一位开发者讨论 agent eval 设计中的经典陷阱：两条同 feature flag 记录时间戳完全相同（10:00:00Z），revision 41 为 enabled:false、revision 42 为 enabled:true。

核心设计要点：- 源契约规定高 revision 即后提交状态，胜出答案是 enabled，仅凭时间戳无法判定。- 必须反转检索返回顺序再跑一遍：否则首跑正确可能只是隐藏了对数组位置的依赖。- 应把排序规则、作用域、胜出 revision 及证据源 ID 都放进 resolved context；其他数据源需各自文档化排序规则，不能默认记录 ID 或到达顺序可作依据。- 第二个用例应移除 revision 等排序保证，期望 agent 报告「顺序无法确定」，而不是自信地选最后出现的行。- eval 要同时校验所选状态和支撑其排序的证据。