TURTLE 论文:用进化搜索自动生成高难度工具使用基准,AppWorld 难题占比提升 165%
MichaelD1729 · x · 2026-10-24
论文提出 TURTLE（Tool Use Related Tasks with Long-Horizon Evolution），一种无监督环境设计（UED）方法，解决工具使用基准依赖人工、难以扩展的问题。
方法：用三个 LLM agent 协同——proposer 负责基于现有工具集与任务原语提出新任务，solver 实际执行，feedback generator 总结执行轨迹供 proposer 利用；proposer 以「难但可解」为目标被奖励，任务经模拟验证后进入任务档案，形成自我调优的测试集。
结果：在 AppWorld、τ-Bench、AutomationBench 上用 Gemma 4 31B-it 实验，进化后的任务精准命中目标难度区间（AppWorld 困难任务占比提升 165%），推理与并行工具交互的多样性显著增加，并能诱发出比原任务更广的失败模式，可用于失败诊断。
「编程与Agent」频道最新
- Austin LangChain 演讲：小模型优先+缓存复用的分层推理路由法 — colinmcnamara · 2026-10-24
- NVIDIA 开源 OpenShell:自主 Agent 运行时沙盒,18.6k star — petrusenko_max · 2026-10-24
- 睡前给 Claude Code 一个目标：一夜筛出 380 家健身房拟出 30 封外联草稿 — Arindam_1729 · 2026-10-24
- Factory 发布 Anthropic 客户案例:谈大型代码库长程任务与「黑暗工厂」 — matanSF · 2026-10-24
- 开发者用 Rust 重写 Apache2 并加 Verus 规约：比继续跑 C 版更划算 — jd_pressman · 2026-10-24
- 用历史 CVE 做对抗测试：让 agent 自己定规格再自我攻击 — jd_pressman · 2026-10-24