无基准可测怎么办?Air Canada 工程师分享"先写答案"的 Agent 测试法
AI Engineer · youtube · 2026-10-22
AI Engineer 频道发布 Air Canada AI agent 团队负责人 Nathanael Weill 的演讲:当任务过于垂直、没有公开 benchmark、领域专家又没时间打分时,如何测试 agent。
核心方法——先写答案,再倒推输入:
- 从已知答案出发生成测试输入,再验证 agent 能否从输入推导回答案
- 这让一个电信 RAG 项目从每周 1 个专家评分测试提升到每天数十个自动化测试
针对供应商合同审查 agent,他给出 5 种构建测试集的方法:
- 用过往真实决策
- 人为植入违规条款
- 删除关键条款看 agent 是否发现
- 加入不应影响结果的改动(负样本)
- 用填空模板生成变体
另一个关键主张:能用代码校验答案时,避免使用 LLM judge;专家反馈应用于构造更好的测试集,而非逐例人工评分。
「编程与Agent」频道最新
- AI 代理写百科:Scio 上线 56 天收 12426 篇,增速超维基百科同期 — evisoft · 2026-10-22
- David Khourshid 调侃:Claude 连 localhost 测试账号都拒绝用 — DavidKPiano · 2026-10-22
- Amazon 封禁 Meta 购物智能体 Muse,代理商务平台之战打响 — emmanuelvivier · 2026-10-22
- Mistral 发布 Voxtral 3:50+ 语言语音模型与语音智能体 SDK — emmanuelvivier · 2026-10-22
- 微软推出 Guardian Agents,把企业 AI 智能体当内部威胁来监控 — emmanuelvivier · 2026-10-22
- Anthropic 发布 Claude Duet:后台主动工作的代理型助手 — emmanuelvivier · 2026-10-22