论文实证：307 起 Agent 失败案例，罪魁是「看起来对口」的 skill
alex_verem · x · 2026-08-21
一项受控实验研究了加载 AI skill 对 agent 任务执行的影响：同样的任务、同一个模型，唯一区别是是否加载 skill，共确认 307 起 skill 诱发的失败（125 起功能性失败 + 182 起效率回退）。
关键发现是，失败几乎从不来自明显无关的 skill（无关 skill 会被忽略），而来自看似完全对口的 skill：agent 会过度信任 skill，把其中的示例和默认值当成任务的真实需求，自信地做错事。约 69% 的功能性失败属于这一模式。例如任务要求计算净出口占 GDP 百分比，agent 照搬 skill 模板只做除法、漏掉乘 100，所有结果都小了 100 倍；另一案例中 skill 示例没展示某项必需配置，agent 就照示例漏掉了它。
实验跑在 Claude Opus 4.6 上，说明能力不是问题——skill 在「掌舵」，agent 照着驶出路面。作者强调 skill 平均而言仍然有益，问题在于帮助和伤害紧挨着，而几乎没人在测量伤害那一面：skill 不是 agent 会查阅的中性文档，而是 agent 会服从的指令。
所属事件:论文实证 AI Skill 或致 Agent 失败：307 起案例归因(2 条相关)→
「编程与Agent」频道最新
- Vercel Python 正式 GA:原生支持 FastAPI/Django 与 Fluid Compute — steren · 2026-10-16
- Claude Opus 5.5 + Unity 6 完整教程：六步从空文件夹做出可玩游戏 — Roger_M_Taylor · 2026-10-16
- Marc Lou 公开安利 PostShiba：独立开发者的邮件基础设施新选择 — marclou · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- 开发者把 Pstack skills 装进 Grok bot 与 Hermes agents — alexcovo_eth · 2026-10-16
- past.dev 推出 Agent 长期记忆 API,登顶 BEAM 公开记忆基准 — thisiskp_ · 2026-10-16