72 次消融实验验证：给 Agent 加 skills 到底值不值
rseroter · x · 2026-09-16
@kweinmeister 做了一项消融实验（ablation study）：用 12 个云端使用场景、共 72 次试验，评估给 AI 编码 agent 加载 skills 是否真的有效。评估工具用的是 NVIDIA 的 SkillEvaluator 和 Harbor，被测对象是 Google Cloud Developer Plugin。
核心动机是：每次 agent 猜错 CLI 命令而不查语法都在烧 token，加载 skills 究竟能否让 agent 保持在正轨上？文章给出实测结论，对构建和使用 agent skills 的开发者都有参考价值。
「编程与Agent」频道最新
- Sakana Marlin 更新：报告可对话追问，支持 PowerPoint 导出 — SakanaAILabs · 2026-09-16
- Andy Matuschak 玩出「可编程荧光笔」：划线即触发 AI 操作 — andy_matuschak · 2026-09-16
- 别滥用 subagent：作者用专职子代理过滤 SSH 输出，保护主 agent 上下文 — SaleemUsama · 2026-09-16
- 给 Agent 用裸 Markdown 文件夹存记忆?10 万次安装的教训 — Alone-Biscotti6145 · 2026-09-16
- Nous 用 1393 个子代理 19 小时重构百万行代码，省下近 200 万美元 — NousResearch · 2026-09-16
- 别追新工具:作者一套 AI 系统用 8 个月,只做增量替换持续变强 — evielync · 2026-09-16