重复政策类任务的 agent 测试法:先定边界用例再改 skill
MiserableFlatworm337 · reddit · 2026-10-23
作者针对一类隐性问题给出测试设计:政策类重复任务(如退款)中,agent 的回答听起来合理,却用错截止日期或把不该退的运费算进去,加更多 agent 并不能自动解决。以虚构退款政策(30 天可退、运费不退、分币向下取整)为例给出五步法:
- 改 skill 之前先写好第 29/30/31 天的预期结果
- 混入不同价格、运费和能暴露取整误差的数值
- 加入缺输入用例和与政策冲突的追加请求
- 保存原始结果,改完指令后跑完全相同的用例
- 检查独立 holdout 用例与回归,而不是改测试来迁就新输出
核心区分:改善指令的可读性 vs 证明行为在关键用例上真的变了;精确金额用确定性检查,定性判断另需评审。作者顺带介绍在做的开源工具 skillEd(版本化用例、CLI/MCP 驱动评测、报告对比,Apache-2.0)。
「编程与Agent」频道最新
- Beff Jezos 专职部署 Grok 机器人,整月扫描 X 上的安全漏洞帖 — beffjezos · 2026-10-23
- 经济学家用 Claude Skills 常犯的 7 个错误：自己不写、数量太少 — aniketapanjwani · 2026-10-23
- MIT Sloan 研究：AI 提升写码速度但交付瓶颈卡在测试与发布 — sven_ai · 2026-10-23
- Agent 代登银行账号触碰红线：多数银行要求本人登录 — pstAsiatech · 2026-10-23
- Codex 桌面端 4 人团队砍掉编辑器：逼用户全交给 Agent — sujingshen · 2026-10-23
- 等 token 预算下重评：Web agent 在线增强的优势大半消失 — hllo_wrld · 2026-10-23