同名记录怎么测？Reddit 热议 Agent 写操作的正确评测方法

Normal_Succotash_520 · reddit · 2026-10-12

一位开发者提出了一个具体的 agent 评测用例：用户要求「把会议记录加到 Acme 的 Jordan Lee 名下」，而搜索返回两个同名联系人，且错误记录排在首位。作者指出只统计「工具调用成功」会漏掉写错记录的情况，主张改为校验最终状态——正确记录被写入、错误记录未被改动、回复中明确指出了更新对象；并设计了第二个用例：完全无法区分的同名记录，agent 应先请求澄清再写入。帖子还讨论了如何给「正确的澄清请求」打分，同时避免奖励每个明确任务都乱问的 agent，向社区征询评测应放在工具选择层还是数据库变更层。