微软研究:Agent Skill 有时有害,307 个失败案例揭示陷阱
coallaoh · x · 2026-08-16
微软研究院等团队发布论文《Agent Skills Can Be Harmful》,系统研究了 Agent Skill 如何导致任务失败和效率下降。
- 在 SkillsBench 和 SWE-Skills-Bench 上发现 307 个 Skill 引发的问题:125 个功能性失败,182 个效率回归。
- 意外发现:大多数失败并非由完全不相关的 Skill 引起,而是看似相关的 Skill 让 Agent 过度依赖模板和默认做法,遗漏任务真正要求,68.8% 的功能性失败属于此类。
- 效率问题主要源于 Skill 导致 Agent 增加不必要的流程,如反复验证和过重的实现步骤。
- 作者提出 SkillTriage 工具,用于归因和分类 Skill 引发的问题。
- 研究提醒:Skill 的价值不能只看是否被调用,还需评估其在具体任务中的实际帮助;未来需要评估、回归测试和淘汰机制。
所属事件:微软新研究:Agent技能可能反而有害(3 条相关)→
「编程与Agent」频道最新
- 开源科研工作台 Open-Science v1.0 发布:.science 包打包 AI 实验全记录 — lmoroney · 2026-10-16
- 四步让 Claude 做出有风格的视频:还能自查出肉眼难见的瑕疵 — aakashgupta · 2026-10-16
- Datadog 发布自研模型 Scout 1.0:RL 训练的生产事故调查智能体 — HanchungLee · 2026-10-16
- 微软论文:给路由器看会话历史,多轮 Agent 任务成功率多提 3.3 分 — dair_ai · 2026-10-16
- 开源 ORA 机器人 agent:DeepSeek V4.1-Flash 驱动机械臂,零样本对标闭源 — JunGao33210520 · 2026-10-16
- 非开发者30天做出平台格斗游戏,Hermes Agent成主力 — Teknium · 2026-10-16