伯克利论文揭示:Agent 自我改写外壳提分,却在悄悄丢失已会任务
rohanpaul_ai · x · 2026-11-09
UC Berkeley 等机构论文《Beneath the Surface: What We Overlook When We Talk About Agent Evolution》系统检验了 Agent harness evolution(不改模型权重、让 Agent 自己改写提示词/技能/工具/代码以实现递归自我改进)是否带来可靠提升。
核心发现:
- 全部 16 个进化后的 Agent 都在获得新任务覆盖的同时丢失了此前能解的任务,平均分掩盖了这一退化;一个通用任务案例中可靠性提升 5.2 分,却丢了 10 个原本能完成的任务。
- 多数可靠性提升伴随部署成本上升。
- 具体改动通常优于通用提醒,但组合后收益可能反转;得分最高的 Agent 在四个测试池中均未带来最大平均改进,更严格的准入机制反而可能淘汰有用方案。
- 迁移能力有选择性:通用任务上覆盖通常下降,编码任务上仅外层 harness 时上升。
作者据此提出「保留感知」的评测方法、经测试的决策规则与明确适用条件,并给出建设性后续工具 EvoAudit,将诊断转化为对选择与分析的修订。
所属事件:研究称 Agent 自我进化提分实为拆东墙补西墙(3 条相关)→
「编程与Agent」频道最新
- 用 Hy4 把世界模型画面一键变成可玩的 three.js 游戏 — ShunyuYao12 · 2026-11-09
- 发帖人设计测试案例:AI 复制记忆不能同时复制付款权限 — tallmetommy · 2026-11-09
- David Khourshid:隐式状态机是 vibe coding 的隐形 bug 源 — DavidKPiano · 2026-11-09
- 想要形式化验证和确定性测试？答案都是：换一种架构方式 — blaizedsouza · 2026-11-09
- 两步架构法:消息传递加 I/O-free 核心,让系统可验证可测试 — blaizedsouza · 2026-11-09
- Cloudflare 安全审计 skill 7 天涨 1 万 Star:AI 写码越快,审计越要结构化 — sven_ai · 2026-11-09