Stanford 与 DeepMind 提出 TURTLE：自动进化出更难的工具使用基准
rohanpaul_ai · x · 2026-11-09
Stanford 与 Google DeepMind 的论文提出 TURTLE（Tool Use Related Tasks with Long-Horizon Evolution），用无监督环境设计（UED）方法把过时、过简单的工具使用基准自动改造成更难但仍可解的测试。
核心做法：
- 用三个 LLM agent 协作：proposer 负责改造任务、solver 负责解题、feedback generator 总结 solver 的执行轨迹供 proposer 利用
- proposer 以「难但可解」为奖励目标，用 AlphaEvolve 风格的进化方式给现有任务加过滤器、额外步骤和隐藏查询
实验结果（在 AppWorld、τ-Bench、AutomationBench 上用 Gemma 4 31B-it 测试）：
- AppWorld 上困难任务占比提升 165%
- 任务多样性（推理类型与并发工具交互）显著增加
- 能激发出比原始任务更广的失败模式
该工作解决了静态基准很快被模型「刷穿」、人工出新题成本高的问题，为 agent 评测提供了可自我调优的数据生成路线。
所属事件:Stanford 与 DeepMind 推出 TURTLE 自动演化更难工具使用基准(2 条相关)→
「编程与Agent」频道最新
- 商店 API 成功劝退购物 Agent 一笔 $149 订单，零人工介入 — schwentker · 2026-11-09
- 为 Agent 而生的 3D 引擎 Vork:渲染比 Blender 快 24 倍 — ravisparikh · 2026-11-09
- 实测:用 Claude Opus 驱动 Vork 引擎渲染 1000 个 Clawd — ravisparikh · 2026-11-09
- Claude/Codex 额度用光后,他自建 vLLM 本地跑 Qwen 模型供 Agent 使用 — alfcnz · 2026-11-09
- OpenAI 联创 iamtrask 透露正做 agent 间发现与 map-reduce 协议 — iamtrask · 2026-11-09
- AGI House 个人智能体黑客日：主打本地推理与每瓦智能 — agihouse_org · 2026-11-09