做表准确率最高 +17.5 点,输出 token 省 80%

EfficientSkill: Learning Skills for Token-Efficient Multi-Turn Agents

Deep Shah, Sanket Badhe, Nehal Kathrotia, Priyanka Tiwari

cs.CL, cs.AI, cs.LG

2026-11-15

EfficientSkill 先把技能修到可用,再在准确率不低于峰值九成时裁短指令并限制轮次。12 组里 11 组输出 token 下降,最多约 80%,三个基准的平均通过率都上升。

这篇在解决什么

多轮 agent 的技能包是一份说明书,加上工作目录里的脚本。EvoSkill 这类反射式优化器只盯通过率,失败一次就往说明书里打一条边角规则。

输出 token 单价最高到输入的 5 倍,而无状态接口每一轮都重发全部历史,累计输入随轮次近似平方增长。过拟合的规则还让模型不敢下结论,反复查看、空转、执行错误级联。搜索从第一步就罚长度也不行。任务不熟时,探索轨迹是学环境所必需的,罚早了就停在初始准确率附近。SkillReducer 把静态说明书的输入 token 砍了 27%,运行时输出却 +1.7%。贵的是模型生成的字,以及一轮轮重放的历史。

方法

EfficientSkill 把优化拆成两段。技能写成 S = (I, T):I 放进上下文,T 是工作目录里的函数。函数体不进系统提示,提示里只留调用签名,打印结果仍进入观察历史。

目标模型冻结。元优化器是 Claude Opus 5.5,每 8 条训练任务改一版,最多 10 个 epoch,每个 epoch 4 次验证,耐心 6 个检查点。

顺序不能反。跳过 Repair、直接从空壳裁,候选过不了这道门,检查点退回空壳。SpreadsheetBench 上 Gemini 3.8 Flash 的测试通过率是 3.6%,从 A 接着改则是 72.5%。ALFWorld 上 Gemma 4 26B 是 43.2% 对 81.1%,批大小调到 24 仍退回空壳。

四个模型共用一套无状态循环:Claude Opus 5.5、Gemini 3.8 Flash、Grok 4.1 Fast、Gemma 4 26B。MATH-500 按符号等价判分,最多 10 轮;ALFWorld 按模拟器目标判分,最多 25 轮;SpreadsheetBench 按单元格数值判分,最多 20 轮。划分 20%/10%/70%,测试集各 280 题,技能按模型重训。

结果

对照是同一日程的 EvoSkill。四模型平均通过率三套基准都升:MATH-500 81.1% → 82.8%,ALFWorld 87.9% → 89.0%,SpreadsheetBench 62.9% → 70.4%。家务任务上 Opus 从 88.9% 到 93.2%。

设置通过率每局输出 token
表格 / Grok 4.1 Fast57.5% → 75.0%10056 → 4271(−57.5%)
表格 / Gemini 3.8 Flash58.2% → 72.5%13376 → 8364(−37.5%)
表格 / Claude Opus 5.588.6% → 88.6%1466 → 761(−48.1%)
表格 / Gemma 4 26B47.1% → 45.7%4677 → 2174(−53.5%)
家务 / Gemini 3.8 Flash92.1% → 93.6%5704 → 1155(−79.7%)
数学 / Claude Opus 5.586.4% → 87.5%426 → 102(−76.0%)

12 组里 11 组输出 token 下降,其中 9 组大约少 38% 到 80%。唯一增多的是 ALFWorld 上的 Gemma:没有推理 token,动作 token 从 95 到 99(+4.4%),轮次从 10.74 到 9.12,计费输入 −36.9%,成本 −36.7%。

表格上的涨点来自少走弯路。Gemini 的超时加犹豫失败从 35.7% 到 19.6%,打满 20 轮的超时从 16.1% 到 6.4%。无代码回合从 26.1%(763/2923)到 14.1%(338/2398),非空散文只剩 1.1%。Grok 第一轮就发出完成信号、文件却没保存的比例从 18.2%(51/280)到 3.2%(9/280),这 51 局里挽回 40 局。Opus 有 93.2% 的表格题用 3 轮做完:查看、计算并核对、提交。

SKILL.md 大约少 20% 到 59% 的词。Gemini 的表格说明书从 1271 词到 521 词,并写入 241 词的 tools.py。四个表格模型上,EvoSkill 的 tools.py 都是空的;再多跑 6 个验证检查点,验证准确率仍然没有更高,说明书停在 908 到 1521 词。累计输入 token 少 8% 到 66%。不计缓存时 12 组服务成本都降,10 组降 25% 到 67%,例外是 Grok 数学 −12.1%、家务 −15.2%。前缀 KV 缓存只给重读历史打折,新输出和新观察仍按原价,12 组成本照样都降,10 组降 31% 到 75%。

为什么重要

长度约束把过拟合的检查清单裁成短流程,空转和未保存就提交变少。会写代码的多轮任务上,这是实质改进。数学题往往一两轮结束,省下的主要是推理字数,通过率持平或略高。

先不计 token 修到 A,再在不低于约 0.90×A 时裁剪,把反复出现的检查和校验放进工作区脚本。换模型要重跑 Prune。Prune 在目标模型上的追加花费,9 次非 Opus 运行里有 8 次低于 3.60 美元。算上元优化器大约 1.80 到 9.36 美元后,多轮设置的回本大约 260 到 2400 局,Grok 做家务除外:每局大约只省 0.0018 美元,标准计费下约 8400 局才回本。便宜模型的单轮数学每局省不到 0.001 美元,回本要 5100 到 23900 局。

局限与存疑

门控看的是输出 token,不是美元。候选若把说明书写得很长,无缓存的历史重放仍可能更贵。两段都用 Claude Opus 5.5 做元优化,输出上限 5000 token。表格上 EvoSkill 的说明书超过约 900 词后,末尾的 tools.py 草稿会被截断,基线工具为空有这一层原因。缺工具带来的准确率波动不超过 1.1 个百分点,掉点主要来自无代码循环和未保存就提交。只裁提示、加大反思预算、对照 SkillReducer 和单阶段费用正则、用模型打分的开放任务,论文都没有做。

280 题的二项标准误上限约 3.0 个百分点。MATH-500 和 ALFWorld 的平均涨幅只有 1.7 和 1.1 个点,落在噪声里。表格的 +7.5,以及 Gemini、Grok 的 +14.3、+17.5,超出这个范围。Gemma 做表在默认门控下从 47.1% 到 45.7%,放宽到绝对少 5 个点时回到 47.9%。Grok 做家务通过率从 89.3% 到 88.2%,输出 token 只少 3.2%。评测是自建的无状态循环,重放时去掉了以往的推理 token,和生产 harness 的账单不一致。技能按模型分开训,没有跨模型迁移实验。

术语

原文与代码

社区讨论

相关论文

全部论文解读