两个 Agent 都说做完了仍可能出错：验收标准谁来写是关键
krishnan · x · 2026-11-09
Krish Subramanian 讨论 long-running agent 应用的评测陷阱：两个 agent 一致认为任务完成，交付的产品仍可能不对——独立的 evaluator 有用，但不自动等于独立的事实来源。
他引用 Anthropic 3 月 24 日的工程文章（long-running 应用的 harness 设计）：每个 sprint 前，generator 和 evaluator 先就「要构建什么、如何检验成功」谈判出一份契约，evaluator 再用 Playwright 驱动运行中的应用验证。他认为这个顺序是对的，真正的坑在于谁来写验收标准。
虚构示例：客户要求导出全部记录，builder 提议一个下载按钮，evaluator 确认点击能产出有效文件，双方都通过——但导出悄悄漏掉了归档记录。实现符合约定，约定本身漏了需求。结论：先就可观察行为达成一致，测试产品本身，而不是 builder 对产品的描述。
「编程与Agent」频道最新
- macOS 27.3 让 Mac 虚拟机调用宿主 GPU 与神经网络引擎,AI 任务提速至 7 倍 — SumitGup · 2026-11-09
- 药物发现难在多目标优化:作者分享 TPP 监控 Agent 的完整提示词 — nlarusstone · 2026-11-09
- 把「苦涩教训」用到自己工作流：放弃 agent 花活只做简单对话 — esrtweet · 2026-11-09
- 苹果工程师亲授本地 AI 开发要点:编码别用 AFM,自带模型一键接入 — rxwei · 2026-11-09
- 纯前端复刻 Copy 按钮动画：代码折纸夹上木写字板 — prasenx · 2026-11-09
- 工程师自建提示词库工具 Promptline,一键粘贴参数化常用 prompt — TallShift4907 · 2026-11-09