Stanford 与 DeepMind 提出用演化把太简单的基准改造成 50% 通过率的难题
rohanpaul_ai · x · 2026-11-09
Stanford 与 Google DeepMind 的新论文提出 TURTLE，用 AlphaEvolve 对现有 tool-use 基准（如 AppWorld）的旧任务做演化改造，无需人工从零构建新基准。
- 方法：由 proposer 对已有任务增加过滤器、额外步骤和隐藏查询来变异任务，再用 solver 模型在每个任务上跑 10 次，保留 solver 成功率约 50% 的「难而可解」任务，且每个任务至少需被解出一次。
- 效果：原 AppWorld 任务中有 69% 被 Gemma 4 31B-it 每次都解出，而演化出的 735 个新任务几乎全部落在 40%–60% 完成率区间；LLM 评委判定 52.5% 的演化任务是难题，原任务仅 19.8%。
- 实用建议：如果模型轻松刷爆某个基准，与其重写新基准，不如把旧任务演化到 50% 成功率附近再测。
所属事件:Stanford 与 DeepMind 推出 TURTLE 自动演化更难工具使用基准(2 条相关)→
「编程与Agent」频道最新
- 商店 API 成功劝退购物 Agent 一笔 $149 订单，零人工介入 — schwentker · 2026-11-09
- 为 Agent 而生的 3D 引擎 Vork:渲染比 Blender 快 24 倍 — ravisparikh · 2026-11-09
- 实测:用 Claude Opus 驱动 Vork 引擎渲染 1000 个 Clawd — ravisparikh · 2026-11-09
- Claude/Codex 额度用光后,他自建 vLLM 本地跑 Qwen 模型供 Agent 使用 — alfcnz · 2026-11-09
- OpenAI 联创 iamtrask 透露正做 agent 间发现与 map-reduce 协议 — iamtrask · 2026-11-09
- AGI House 个人智能体黑客日：主打本地推理与每瓦智能 — agihouse_org · 2026-11-09