写 Skill 易测 Skill 难:用 evals 两个数字验证指令文件是否真有效
blaizedsouza · x · 2026-10-20
作者 sermakarevich 发布了一篇面向编码 agent 工程师的文章,主题是如何编写并用评测(evals)检验 agent skills。
- 现状:市面上有海量 skills 可装,但几乎没有被测过,多数靠 vibes 写成,整个 skills 行业高度主观。
- 文章给出方法:把任意一个 skill 底层依赖的想法抽出来,用两个数字量化它是否真的有帮助。
- 目标读者:负责决定给编码 agent 安装哪些指令文件、或自己动手写 skill 的工程师。
对被各类 skill 清单淹没、想知道哪些值得装的团队来说,这是一套可复用的验证思路。
「编程与Agent」频道最新
- Claude Code v2.1.304 发布:新增 auto-mode 引导设置与用量提醒 — ashwin-ant · 2026-10-20
- Pixel 发布:终端里跑 120 FPS 图形界面,内置 Chromium WebView — aidenybai · 2026-10-20
- Swarms 提出集体超级智能 CSI:将超越 AGI 与 ASI — KyeGomezB · 2026-10-20
- 实测报告:AI 已在 RF 芯片设计、FPGA 优化、3D 建模中干真活 — mark_k · 2026-10-20
- 代码审查没有死:AI 生成代码更需砍掉不存在的要求 — rseroter · 2026-10-20
- 构建 RL 任务的黄金法则:90% 算力应花在「试图打破任务」上 — marktenenholtz · 2026-10-20