Meta 论文提出「Agent Plasticity」:最强 agent 未必是最高效学习者
rohanpaul_ai · x · 2026-10-18
Meta 等机构发布论文《Agent Plasticity: Measuring Self-Improvement Through Experience》,提出衡量 agent 自我改进效率的新指标 agent plasticity——即 agent 将经验转化为未来 held-out 性能提升的效率。
- 现有评测多测模型「某一时点能做什么」,忽视 agent 能否通过积累工具、笔记、skills 持续变好,以及学习成本
- 实验冻结模型权重,让 agent 玩国际象棋、围棋、Hex、NetHack,每轮重写自己的工具与笔记,按「每美元学习成本换来的 held-out 提升」打分
- 结果:硬核国际象棋中 Claude Fable 5 从 37.5% 升至 73.3%;但按效率算,GPT-5.6 Sol 每千美元学习成本提升 298 分,Claude Fable 5 仅 57 分
- 结论:最终表现最好的 agent 未必是学得最划算的那个;低可塑性 agent 常不复用已有 artifact,高可塑性 agent 也可能因 artifact 质量、泛化或应用失败
启示:评测自改进 agent 时应追踪 held-out 学习曲线与成本,并检查 agent 是否真的用上了保存的东西。
所属事件:Meta 等机构提出 Agent Plasticity:最强 agent 未必学得最快(2 条相关)→
「编程与Agent」频道最新
- 编码 AI 能力之争：快而博学却工程拉胯，谁在自欺？ — MarcJSchmidt · 2026-10-18
- Anthropic 借鉴律师谈判伦理，Claude 智能体 69 人无人工批准成交 186 单 — rohanpaul_ai · 2026-10-18
- Agent 接管 Gmail 与浏览器后的投毒风险，及 jev-guard 防护做法 — sujingshen · 2026-10-18
- 14 个 Agent 在单卡 5090 上做 AI 电影:按反馈修复剪跳与配音缺陷 — developervkmp · 2026-10-18
- 开发者用前沿模型一个周末上线山火预测平台 — CtrlAltDwayne · 2026-10-18
- 浏览器端调试搜索引擎 Odin:定位 bug 文件准确率 93%,成本不到 1 美分 — Massive_Capital9611 · 2026-10-18