Evolving Self-tuning Benchmarks for Long-Horizon Tool Use
Hyunji Alex Nam, Michael Dennis, Natasha Jaques, Minsuk Chang
cs.AI
2026-10-20
TURTLE进化AppWorld，Gemma 4 31B难题占比从19.8%升至52.5%，完成率聚在40%-60%。
工具调用基准卡在出题。AppWorld、τ-bench 这类沙盒靠人改指令、对数据库状态，模型一旦饱和，就得再找人加题。另起炉灶造环境和 API，新题又往往接不上已有评测 harness。
纯文本生成容易写出模拟器执行不了的指令。ToolGrad 一路是先固定标准调用、再反写自然语言，题可解，但容易变成填空模板。状态依赖图上随机游走，工具一多、依赖一密，图先建不起来。
TURTLE（Tool Use Related Tasks with Long-Horizon Evolution，长程工具任务的进化生成）改已有任务的指令和 API 组合，沙盒继续用原来的。留下来的题，要让 solver 大约一半次数能做完。
三个 LLM 分工：proposer 改题，solver 多次求解并打适应度，反馈模型把轨迹摘要成失败原因。优化器是 AlphaEvolve，无梯度进化搜索，闭源模型不用交出权重。
AppWorld 里一道题是 Python 程序，含初始数据库、自然语言指令、标准 API 序列，以及可选评分规则。只改部分状态时，评分采用标准解在模拟器里跑出的最终状态。
把 solver 考倒，最省事的办法是写含糊指令。门槛因此定为 10 次里至少 1 次完美做对。过关之后用完成率 c 和成功轨迹长度 L 打六个分。钟形分在 c 为 50% 时等于 1，在全对或全错时降到 0.1。c(1−c) 也在 50% 最高。另外四项只在 c 处于 0.3–0.7 或 0.4–0.6 时按 L 加分。空调用垫长度早期出现过，所以 L 只统计 solver 走通的那次。
AppWorld 的变异说明写得很短。结束后，每个父任务保留完成率方差最高的变体，并列都留。Gemini 3.6 Flash 再去掉格式不符和同义复述带来的假失败。AppWorld 进化 1000 步，其余数据集 500 步。主实验的 solver 和反馈模型都是 Gemma 4 31B-it。
Gemma 4 31B-it 做 AppWorld，原始 106 题的完成率两极分化：68.9% 次次做对，12.3% 次次失败。进化出 735 题后，平均完成率几乎都落在 40%–60%。完成率扎堆五成，因为适应度就奖这个区间，筛题时又按方差留题。
原量表按交互量和推理量由人打 1 到 3 分，这里换成 Gemini 3.6 Flash。
| 集合 | 题数 | 简单 | 中等 | 困难 | 均分 |
| 原始 AppWorld | 106 | 12.3% | 67.9% | 19.8% | 2.08 |
| TURTLE | 735 | 3.7% | 43.8% | 52.5% | 2.49 |
困难占比从 19.8% 升到 52.5%，相对增加 165%。原始集大约八成是简单或中等，进化后困难题过半，均分从 2.08 到 2.49。
中间工具调用两边都是 100%。其他特征的出现率相对提高 29%–212%，最大一档从 9.4% 到 29.3%。这些特征没有写进变异提示。指令嵌入用 Gemini Embedding 2（768 维）。离原题最远的 10 对，余弦距离 0.30–0.49。例如原题只要求按电话号码私下 Venmo 转 68 美元；进化题要求先查出生月，找到同月且住西雅图的同事，每人转 75 美元，再按年龄改备注。
AutomationBench 从 16 题进化到 23 题。原题全部使用 4 个应用，进化后 52% 要用 5 个，13% 要用 6 个。应用配对从 15 种增到 30 种（无序配对最多 36 种），新出现 Banboohr、Google Drive、Stripe。
失败类型和任务特征的组合从 49 对增到 54 对。原题热力图缺 11 格，进化后缺 6 格。Gemini 3.1 Flash Lite 把「Seraphina Dawn」当成两位艺人，口令算错；Gemma 4 31B-it 在该发短信时，提交了一笔金额为 1 美元的 Venmo 请求，这笔金额是编的。
| 环境 | 父任务 | 进化后 |
| AppWorld（Gemma 4 31B-it） | 106 | 735 |
| τ-telecom | 84 | 299 |
| τ-banking（BM25） | 17 | 82 |
| τ-banking（golden retrieval） | 24 | 178 |
| AutomationBench | 16 | 23 |
后三个环境没有给出同等粒度的难度分布。Gemini 3.6 Flash 以 9 道种子产出 22 题，Gemini 3.1 Flash Lite 以 64 道种子产出 141 题，完成率同样往 40%–60% 靠。
已有环境可以留着。AppWorld 的 4571 个 API、τ-bench 的用户模拟器、AutomationBench 的 47 个 SaaS 应用都不用重写，新题直接进旧管线。多出来的开销主要是变异和 10 次求解的推理。
难度钉在五成，对应 Rutherford 等人说的学习边界。后续可以拿这批题做可验证奖励的强化学习，或只克隆成功轨迹，再重新出题。
完成率进入 40%–60% 是目标函数生效。困难占比从 19.8% 到 52.5%、特征频率上升、应用配对从 15 到 30，这三件不由「c 靠近 0.5」自动成立。困难分和特征标签仍出自 Gemini 3.6 Flash。
闭源推理费用被标成主要限制。Gemini 消融种子很少：3.6 Flash 9 道，3.1 Flash Lite 64 道。要做成更大的公开集，父任务得先加厚。
三项标签共用 Gemini 3.6 Flash。原难度量表来自人工，文中没有 LLM 与人的一致率。失败组合只从 49 增到 54，诊断力有限。
题集随 solver 改变。公开榜上的难度会对着这个模型调过。proposer 能看到标准解。指令清不清楚，靠 judge 删掉明显含糊的题，文中没有人工抽检比例。
AutomationBench 仅 23 题，配对从 15 到 30 容易被少数题拉动。训练仍是建议，强化学习或行为克隆都没接上。