开源 ai-rulez 作者拆解 Claude Code 技能发现评测:单一成功率掩盖多种失败模式
Goldziher · reddit · 2026-11-16
ai-rulez(MIT 开源的 agent 配置工具)作者分享了一个可复现的 Claude Code 实验,核心观点是把 MCP 工具的「发现」「加载」「回答质量」拆开测量,否则单一成功分数会掩盖不同的失败模式。
- 实验设计:夹具含 8 个技能,对话在两个同名工作表、不同工作流的兄弟目录间切换。每个正向回合独立记录三点:findskill 是否拿到正确路径、loadskill 是否返回正确内容、回复是否含预期代码;另有负向对照(问无关问题或请求当前范围内不可用的工作流)。
- 意外发现:首轮试点漏掉了 MCP 臂的生成根指令;修正后的四组对照(stub-only、发布版根指令、工具预加载、修订指引)中,Claude 在 12/12 正向回合完成全部三步,对 6 个无关问题零调用。
- 关键局限:6 个错误工作流对照中有 5 个,服务器正确过滤掉不可用技能后,模型仍加载了邻近技能——这种失败在「只检查路径是否正确」的指标里完全不可见。
作者公开了 192 条脱敏回合、报告和复现命令,并征求建议:该加什么负向对照,才能抓住「默认把搜索第一名当可用」的模型。
「编程与Agent」频道最新
- Filmworkbench v0.1.2:一条 prompt 让 LLM 自动拍出 3 分钟短片 — Eastern-Ad9515 · 2026-11-16
- 分类路由别再让 LLM 生成 JSON:PowerShell 老兵用决策模型一行搞定 — dfinke · 2026-11-16
- 用决策日志取代每周 30 分钟站会:agent 每次运行前必读 — Humaux · 2026-11-16
- 视频剪辑师实测:MCP 接入的免费 AI 剪辑工具哪家强 — lol_you_again · 2026-11-16
- Web 设计正在变成 WebMCP:网页开始为 AI 注册工具接口 — galratner · 2026-11-16
- Baseten 发布编码 Agent 开源模型评估指南:用自己的 PR 实测降本 — baseten · 2026-11-16