中科大等揭示 Agent 演化真相:16 个进化 agent 全部「拆东墙补西墙」
ustc-community · hf · 2026-11-09
中科大、UC Berkeley、上海交大等机构的论文《Beneath the Surface》系统检验「不更新权重、只演化 agent harness 能否带来真正提升」,结论泼了冷水:
- 全部 16 个进化 agent 都在获得新覆盖任务的同时丢失原有任务,没有任何一个净收益
- 一个通用任务案例中,可靠性提升 5.2 分,却丢掉了 10 个此前能覆盖的任务
- 大多数可靠性提升同时推高部署成本
- 具体的改动通常优于泛泛的提醒式 prompt,但组合后收益可能消失
- 得分最高的 agent 在四个任务池中都不是平均提升最大者;更严格的准入机制反而可能淘汰有用的变体
- 迁移性选择性保留:通用任务上覆盖率普遍下降,coding 任务在仅外层 harness 时上升
作者提出 preservation-aware 评估、经测试的决策规则与明确适用条件,并给出建设性方案 EvoAudit,将诊断转化为对 select/analyze/mutate/gate 各环节的修订,取得最佳表现。
「编程与Agent」频道最新
- 企业落地 Agent 前先算三笔账:自主性、ROI 与模型规模 — DavidLinthicum · 2026-11-09
- Codex Pacer 让 Claude Code 自己上报进度,告别干瞪 Thinking — Disastrous_Reward644 · 2026-11-09
- DSH 多智能体跑通 Blender MCP+vork 插件,透明度胜过 Claude Code — teortaxesTex · 2026-11-09
- AI 助手帮作者找出即将过期的 S$40 CapitaLand 券 — gabrielchua · 2026-11-09
- 24万粉博主总结企业FDE三大课题:知识库、Agent、SOP流程化 — yangyi · 2026-11-09
- OpenAI 官宣 Codex 街机游戏,即将登陆 ModRetro Chromatic 掌机 — OpenAIDevs · 2026-11-09