亚马逊论文:过期技能可让 Agent 成绩反降 11.4 分,选择性维护修复
rohanpaul_ai · x · 2026-11-20
Amazon 与 USC 的论文《When Agent Skills Go Stale》系统研究了 agent 复用已保存技能(skill)的风险:环境一变,存储的文件路径、字段名、命令等细节会悄悄过期,原本有益的技能反而拖累表现。
关键发现
- 在 Terminal-Bench 2 上,一个曾为 Claude Opus 4.7 加 4.7 分的技能,在环境变更后使通过率比无技能基线低 11.4 分
- IRS 税表任务中,Haiku 4.5 使用过期技能的字段准确率仅 30.5%
- 论文称过期技能最多可让表现下降超 10 个百分点、或执行成本增加近 40%
解法:选择性维护(selective maintenance)
- 不额外调用模型,重放已保存的校验步骤,检测技能内容与当前环境的冲突
- 只修复冲突部分;局部修复不够时才重建,相比直接重用过期状态任务准确率最多提升 67pp,执行步骤最多省 37%
- 修复后 Haiku 税表字段准确率从 30.5% 升至 97.5%
实践结论:复用 agent skill 前应对照当前环境跑一遍校验,别等任务失败才发现技能过期。
所属事件:亚马逊论文揭示 Agent 技能过期风险,可致成绩反降逾 11 分(2 条相关)→
「编程与Agent」频道最新
- Replit 用 AI Mission 做性能优化:动态追踪定位慢点并验证收益 — amasad · 2026-11-20
- 开源 Mnemolith:MCP 记忆随代码变更自动标记过期,新增团队共享 — Anish2910 · 2026-11-20
- Codex iOS 更新:侧聊可跨设备保存并恢复,新增项目选择器 — SIGKITTEN · 2026-11-20
- Google Gemini 产品负责人弃 PRD 转原型,他写了 AI 时代 PRD 模板 — aakashgupta · 2026-11-20
- 一次 6 次调用 3 美分:agent 一次性核查 40 个创业公司名 — socialwithaayan · 2026-11-20
- Specula 因歧义更名 Specular,并发布 v1.5.0 新版 — tianyin_xu · 2026-11-20