用「部分更新 vs 全量快照」设计 agent 评测:卡车码头案例拆解

jylusdev · reddit · 2026-11-05

一位开发者分享了为 dispatch agent 设计 eval 的具体方法:以卡车 T17 为例,08:00 事件 A 分配 dock 4 并置为 waiting,08:05 事件 B 只置 ready、不含 dock 字段。此时答案取决于声明的更新语义——若 B 是部分更新(省略字段保持不变),结果应为「ready 且 dock 4」;若 B 是全量快照(省略字段视为未知),结果应为「ready 且 dock 未知」。

他建议把这两种语义各做成一个 eval case,只改声明的更新类型,对 dock 和 status 分开打分:部分更新场景下 dock 需引用事件 A 的证据、status 需引用事件 B;快照场景下 agent 应回答 dock 未知。