两个真实工具结果可拼出从未存在的状态,agent 评测该怎么设计

jylusdev · reddit · 2026-10-27

作者用调度场景构造了一个 agent 评测用例:房间与投影仪从未同时空闲,但房间工具返回 09:00 的观察、设备工具返回 09:01 的观察,两次调用都各自真实。如果 agent 把两个「空闲」拼在一起说可以预订,结论与任何一个快照都不符——每条引用都是真的,组合结论却是错的。

作者主张:上下文准备时应保留观察时间戳、来源版本与来源 ID,底层系统若支持共享读版本应随结果传递;没有共享快照机制的系统应把联合可用性视为未确认,直到复查。时间戳本身不能证明同一快照。

评测设计上,关键是要给「组合后的可用性结论」单独打分,而不是只看单次工具调用成功与引用准确。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →