Claude Code 推出 plugin eval 量化插件价值

Anthropic 在 Claude Code 中推出 claude plugin eval 功能，用于量化插件或 skill 带来的实际价值，并解决「新模型发布后 skill 是否还正常工作」的痛点。评测以测试用例打分加有/无插件基线对比为核心，结果在终端呈现并生成 HTML 报告，官方文档同时说明了计费、安全与 CI 集成要点。对插件和 skill 开发者而言，这把以往凭感觉判断的「插件有没有用」变成了可测量、可回归验证的流程。

已确认

• 功能核心是创建测试用例，让插件跑这些用例并打分；支持关闭插件重跑同一批用例，直观对比有/无插件时的输出差异（m1、m7、m8、m10）
• 在插件目录运行 claude plugin eval init 可启动初始化：开发者描述什么是好/坏输出并提供几条真实 prompt，Claude 自动起草测试用例和检查项，并先试跑一轮 pilot（m2、m5、m9）
• 执行评测后终端显示每条用例有/无插件的得分对比，并生成包含完整细节的 HTML 报告；账户支持时报告还会以私有 artifact 形式发布（m3）
• 官方文档说明：评测每次都调用真实模型，会消耗套餐额度或产生 API 账单，完整跑之前建议先用 --runs 1 试跑；并提示涉及插件 hooks 和 MCP 服务器等的安全注意事项（m4）
• 文档还介绍了将评测接入 CI 作为门禁的用法（m4）

为什么重要

• 此前判断插件或 skill 是否有效、以及新模型发布后是否仍然适配，多靠人工抽查；plugin eval 提供了可量化的基线对比手段（m8、m9）
• 作为官方内置功能，它把评测直接融入 Claude Code 工作流，可结合 CI 在模型或插件更新时自动做回归检查

2026-09-12 ~ 2026-09-12 · 10 条相关

• 【源头】Claude Code 推出插件评测工具,可对比有无插件的效果差异 — ClaudeDevs · 2026-09-12
• `claude plugin eval init` 让 Claude 自动起草插件测试用例并试跑 — ClaudeDevs · 2026-09-12
• `claude plugin eval` 输出终端评分与 HTML 报告,含无插件基线对比 — ClaudeDevs · 2026-09-12
• 【源头】Claude Code 插件评测全流程:计费、安全与 CI 门禁详解 — ClaudeDevs · 2026-09-12
• 【源头】Claude Code 上线 plugin eval:一键测试你的 skill 是否仍适配新模型 — trq212 · 2026-09-12
• Claude Code 推出 plugin eval，Hamel Husain 四点点评直指改进空间 — sh_reya · 2026-09-12
• Anthropic 推出 plugin evals,一键检测 Claude skills 是否随模型更新失效 — omarsar0 · 2026-09-12

另有 3 条近重复转述:daniel_mac8 · devdigest · sidjustice_