「Demo 就绪≠可变现」:用 Definition of Done 写 agent 评测
leveragedupside · x · 2026-10-20
作者讲述自己的项目 agent 宣布产品「完成」、内容 agent 已写好发布文案,但 QA agent 按付费客户视角检查后发现竞品链接缺失、文件路径错误、对比表被跳过等问题,给出结论标签:「Demo-ready, not monetize-ready」——没人说谎,只是两套「完成」的定义不同。
核心主张:管理者几十年前就用 MBO/OKR 和 Definition of Done 解决了这个问题,evals 就是 AI 时代的 definition of done。
引用两个真实案例(作者声明非本人测试):
- WhatsApp 线索回复机器人:demo 六月通过,真实线索却让其崩溃(30 词长回答、语音笔记语言错误、和不会买的人闲聊),现已迭代到 v4.7,每次翻车都变成一条 eval(一句话+一个问题,按国家码定语言,非线索则沉默)。
- HVAC 预约 agent:「订到了」不算完成,正确的工单类型、对的技师、缓冲与通勤时间都要在放号前核对——那才是 eval。
作者的四步 eval 写法:1) agent 运行前先写下「完成」的样子;2) 按客户付费点而非开发者意图核对;3) 每次真实失败转化为新检查项;4) 检查成熟后停止事事设卡,改为观察数据。好 eval 是让人不再是瓶颈的方法。
「编程与Agent」频道最新
- 写 Skill 易测 Skill 难:用 evals 两个数字验证指令文件是否真有效 — blaizedsouza · 2026-10-20
- Minos 开源:为零延迟科学实验构建「预测量」agent 世界 — rbhar90 · 2026-10-20
- Anthropic 工程师公开 Opus 5.5 全代码电影的完整 prompt 与执导心得 — EricBuess · 2026-10-20
- uv 作者揭秘:Python 环境标记用决策图表示,最小等价 DNF 是难解问题 — charliermarsh · 2026-10-20
- uv 痛点:复杂解析产生巨大中间 DNF,子句对比代价高昂 — charliermarsh · 2026-10-20
- 开源 Yeufonic:给音乐人做的 YuE2/ComfyUI 前端,支持本地训练 LoRA — AcrobaticMaize2408 · 2026-10-20