论文实证：307 起 Agent 失败案例，罪魁是「看起来对口」的 skill
alex_verem · x · 2026-08-21
一项受控实验研究了加载 AI skill 对 agent 任务执行的影响：同样的任务、同一个模型，唯一区别是是否加载 skill，共确认 307 起 skill 诱发的失败（125 起功能性失败 + 182 起效率回退）。
关键发现是，失败几乎从不来自明显无关的 skill（无关 skill 会被忽略），而来自看似完全对口的 skill：agent 会过度信任 skill，把其中的示例和默认值当成任务的真实需求，自信地做错事。约 69% 的功能性失败属于这一模式。例如任务要求计算净出口占 GDP 百分比，agent 照搬 skill 模板只做除法、漏掉乘 100，所有结果都小了 100 倍；另一案例中 skill 示例没展示某项必需配置，agent 就照示例漏掉了它。
实验跑在 Claude Opus 4.6 上，说明能力不是问题——skill 在「掌舵」，agent 照着驶出路面。作者强调 skill 平均而言仍然有益，问题在于帮助和伤害紧挨着，而几乎没人在测量伤害那一面：skill 不是 agent 会查阅的中性文档，而是 agent 会服从的指令。
所属事件:论文实证 AI Skill 或致 Agent 失败：307 起案例归因(2 条相关)→
「编程与Agent」频道最新
- Graft：让编码 Agent 持久化记忆代码库，效率提升 3 倍 — alex_verem · 2026-08-21
- Agent 评测只看输出对错就够了吗？社区激辩决策级评估 — KAIT2_1412 · 2026-08-21
- Polsia 上线：九个智能体全自动运营公司 — testingcatalog · 2026-08-21
- MCP 长时任务演示：展示 Agent 持续处理能力 — dsp_ · 2026-08-21
- Claude 市场早期红利：分析连接器客户增长超 5 倍 — dsp_ · 2026-08-21
- Claude Agents 让产品头脑风暴变成了一场吃自己的狗粮的实操 — mattturck · 2026-08-21