本周自改进 agent 论文扎堆:多数涨的是刷榜能力而非真实任务
TheTuringPost · x · 2026-11-16
The Turing Post 梳理本周一批 self-improving agent 论文,核心观察是:相当一部分增益来自 agent 变得更擅长刷 benchmark,而不是真正把任务做得更好,因此精选了三篇真正做核查的论文:
- Beneath the Surface: What We Overlook When We Talk About Agent Evolution——不改权重、只改 harness 也能拉升基准分,但这些增益不可靠、成本高且迁移性差。作者建议优先读这篇。
- Learning the Task or Learning the Verifier?——让自改进具身编码 agent 看到基准的成功判据后分数上升,但实际任务完成率并没有提升。
- Evidence-Governed Adoption of Self-Generated Updates in Autonomous AI Agents——区分「agent 写出了改动」与「agent 上线该改动」,每个改动必须先通过新鲜的成对审计和非劣性检验。
「编程与Agent」频道最新
- 1000 个 Agent 写 60 万行 Python:无权重聊天机器人打平 SmolLM — lvwerra · 2026-11-16
- WebArena-Pro 发布:300 任务 20 应用多模态 Web Agent 基准 — xhluca · 2026-11-16
- 1000 个 agent 协作一周写出 63 万行 Python 聊天机器人,零参数零训练 — _lewtun · 2026-11-16
- 11 个 AI agent + 1 个人:单人内容公司月入 3 万美元的完整打法 — VibeMarketer_ · 2026-11-16
- Hugging Face 发布 3D 生成模型 TRELLIS.2 微调完全指南 — ariG23498 · 2026-11-16
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16