Anthropic 推出 plugin evals,一键检测 Claude skills 是否随模型更新失效
omarsar0 · x · 2026-09-12
Anthropic 面向开发者反馈的痛点——skill 在新模型发布后是否仍然有效难以判断——推出了 plugin evals 功能:在插件目录运行 claude plugin eval init 即可初始化评测。Elon Omarsar(omarsar0)对此表示兴趣,并提问是否会开源,认为评测插件若可被社区定制会更有用;他自己也在 meta harness 中维护类似 skills,但感叹新模型频繁迭代下难以保持各任务的有效性。
所属事件:Claude Code 推出 plugin eval 量化插件价值(10 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28