技能库动态进化的 Agent 如何做评测？版本冻结成关键

tahaan · reddit · 2026-11-15

一位开发者分享了自己 agent 评测体系的困境：其 agent 依赖 skills 来驾驭一套大工具集（工具定义多达 110k tokens），所有前沿模型都在围绕庞大工具集推理时挣扎，单轮耗时 3 到 15 分钟以上；Gemma 快约 3 倍但质量不足。

作者构建了一个后台评估回路：监控最近的会话，将结果与规则比对，自动起草新技能或对现有技能的修改，经评估器审核后构建上线。但这套「学习系统」破坏了测试 harness——每次测试运行的技能集都不同，导致换模型或改系统提示词后的结果无法对比。