开源 skillEd:给政策驱动 agent skill 做回归测试的评测工具
MiserableFlatworm337 · reddit · 2026-10-23
作者发布 Apache-2.0 开源工具 skillEd,解决「答案看似合理却违反书面政策」的 agent skill 回归问题。仓库示例中的退款 skill 曾把运费退了、取整方向搞反、还把 30 天期限用成 14 天——修措辞只是一半,还得跑同样的用例确认没有引入新回归。
工作流:
- YAML 用例与 fixtures 与 SKILL.md 放在一起,先验证再存基线,修改后在不变的用例加独立 holdout 上对比
- 精确断言和脚本查金额与输出,模型评审处理定性检查
- 报告支持 JSON/HTML/JUnit,CLI 与 MCP 两条路径让编码 agent 自己跑评测循环
作者建议政策类任务从边界日期、排除费用、缺失输入、冲突指令四类用例入手,并明确这是测试证据而非生产权限强制或合规保证。当前仓库 15 star。
所属事件:开源评测工具 skillEd 发布,助力 agent skill 回归测试(2 条相关)→
「编程与Agent」频道最新
- Railway、OpenCode 相继被黑，攻击者盯上你的 AI API 密钥 — thursdai_pod · 2026-10-23
- 开源浏览器 Agent Jev 提速：中位任务时间从 9.45 秒降到 7.09 秒 — abhishek__AI · 2026-10-23
- 开源 AI 平台 Onyx：3.3 万星，企业级 RAG 自托管方案 — adnan_hashmi · 2026-10-23
- Hermes Agent 用户案例达 395 个：一人撑起 165 人公司八成日常 — NousResearch · 2026-10-23
- AWS 推出漏洞修复 AI 代理 Continuum,CyberGym-E2E 得分居首 — bookwormengr · 2026-10-23
- 并行多个 Claude 会话改代码，每次合并后要手动 rebase 其余会话 — tristanbob · 2026-10-23