Claude Code 推出 plugin eval，Hamel Husain 四点点评直指改进空间
sh_reya · x · 2026-09-12
Anthropic 的 ClaudeDevs 团队为 Claude Code 推出新功能 claude plugin eval：可创建测试用例、用这些用例运行插件或 skill、为运行结果打分，并可在无插件条件下重跑用例对比差异，衡量插件的实际价值。
Hamel Husain 试后给出改进建议：
- 就地反馈：目前是先让你凭记忆回答插件使用经验的问答式流程，更好的做法是边用边反馈
- 先做错误发现：现在直接根据前置回答和文档自动构建数据集与评判，应该先和用户一起做 error discovery、标注真实 trace/会话历史，弄清哪里不工作
- 兼容性：对非插件形式的 skill 配置 eval 很笨拙，得让 Claude 帮忙搭，花了 10 分钟
- 报告可读性：生成的 HTML 报告需要盯着看很久才能理解各部分含义
所属事件:Claude Code 推出 plugin eval 量化插件价值(10 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28