开源 skillEd:用 MCP 服务器给 agent skill 做回归评测与报告对比
MiserableFlatworm337 · reddit · 2026-10-23
作者发布了开源评测工具 skillEd,内置本地 stdio MCP 服务器,用于验证 agent skill 的评测和对比策略回归报告。适用场景:skill 反复执行某类策略(如退款资格、舍入规则),改动后让 agent 检查显式用例并对比结果,而不是凭感觉判断新文案更好。
- 启动:skilled mcp --workspace /absolute/path/to/project;默认接口支持验证、dry run、报告对比和工作流引导;需 --allow-execution 才会真正跑评测,宿主的审批控制仍然生效。
- 推荐循环:验证 skill 与用例 → 检查计划 → 执行允许的评测 → 修改 skill → 对比前后报告;对比已有报告不消耗模型调用。作者强调要保留独立 holdout 用例,避免只测改动针对的样例。
- 定位:提供评测证据而非运行时策略强制;权限检查仍归宿主/应用,面向可信本地工作区,不做多租户授权服务。
代码与退款示例:github.com/DeadHead04/skillEd(支持 Codex、Claude Code 等 agent)。
所属事件:开源评测工具 skillEd 发布,助力 agent skill 回归测试(2 条相关)→
「编程与Agent」频道最新
- 插上 SD 卡走人：开发者用 Codex + DaVinci Resolve 全自动剪视频 — dkundel · 2026-10-23
- 研究：LLM 46.4% 的群聊发言时机不合适，过度主动成协作硬伤 — liweijianglw · 2026-10-23
- Vibe coding 站上线前必查：Search Console 看爬虫拿到的可能是空壳 — sujingshen · 2026-10-23
- Beff Jezos 专职部署 Grok 机器人,整月扫描 X 上的安全漏洞帖 — beffjezos · 2026-10-23
- Hugging Face 旧金山办「训练 Agent」线下活动，六家机构分享 RL 实践 — huggingface · 2026-10-23
- 马斯克转发：一条短信让 Grok 机器人自动下单两块 Garmin 儿童手表 — elonmusk · 2026-10-23