给 Agent Skill 搭盲测评分器，26 个测试静默挂了 25 个
JunoMuse01 · reddit · 2026-10-23
一位以卖 agent skills 为业的开发者分享其盲测方法论与一次惨痛教训：
测试方法
- 先冻结测试用例与预期决策，答案对执行器保密，事后对原始输出文件评分而非「凭感觉评」
- 必含一个正常干净用例（防止评分器在好输入上乱报缺陷）、决策边界用例和陷阱用例：不应被复述的假 API key、要求谎称「已验证」的请求、埋在材料里应被忽略的指令
双重翻车
- 该流程抓到自家 skill 一个真 bug：能抓出所有 planted 问题，但把「遗漏」一律升级到最严厉决策档，校准规则修正后从失败转为通过
- 接着发现评分器本身在撒谎：确定性解析器只认以 "Decision:" 开头的行，真实 agent 输出的是加粗编号标题等格式，26 个输出里 25 个解析失败，被静默当作 FAIL——「穿着白大褂的坏测试」让他带着虚假信心跑了几个月
修复
- 教会解析器识别 agent 实际产出的各种格式，把无法解析的输出从 FAIL 改为 UNVERIFIED，重跑存档输出后自动化评分与人工评分一致
作者坦言工具目前安装量为零，还没解决分发问题，主要想交流大家如何发现「测试装置本身需要被测试」的时刻。
「编程与Agent」频道最新
- GitHub Copilot 两套权限设置疑似功能重复,用户吐槽界面混乱 — tristanbob · 2026-10-23
- Perplexity 推出 Decider for Mac，4B 决策模型可本地免 API key 运行 — perplexity_ai · 2026-10-23
- 实测 Hermes Agent 接入 n8n:让 Agent 直接执行自动化工作流 — techlatest_net · 2026-10-23
- OpenAI 建议 MCP 服务器指令控制在约 1000 字符内防截断 — bibryam · 2026-10-23
- OpenAI 数据：仅约 56% 的 MCP 服务器提供了 instructions 字段 — bibryam · 2026-10-23
- OpenAI 建议 MCP 工具勿藏在调度器后，应逐一暴露清晰动作 — bibryam · 2026-10-23