Prompt2Skill: Unsupervised Skill Optimization From Natural Language Instructions
Bo Ni, Li Li, Ryan A. Rossi, Franck Dernoncourt, Tyler Derr
cs.CL, cs.AI
2026-09-30
不用任何训练数据，只凭一句任务描述检索并合成代理数据、闭环打磨 skill,四个基准五个模型平均提升 10.8 个百分点。
skill 是 LLM 在推理时消费的 markdown 工件，给模型补充领域流程、格式约定和工具用法，不更新权重就能提升专项任务表现。现状是 skill 主要靠专家手写，贵，而且没有针对最终消费它的那个模型做优化；同一个 skill 换个模型，效果可能从帮忙变成帮倒忙。Trace2Skill、SkillOpt 这类自动优化工作又都预设一份带可靠标签、分布内的训练集，而 SkillOpt 的实验显示训练集缩到一个样本，收益就塌回无数据草稿的水平。真实用户手里往往只有一句话：「想要一个读文章并回答问题的模型」。Prompt2Skill 研究的正是这个设定：任务分布从未被观测，输入只有自然语言描述和可选的几个示例。
框架分两个 agent,全程不改模型权重。
Data Agent 造数据。先从任务描述推导任务规范：输入结构、答案风格，加一个可执行的代理评估指标，比如归一化精确匹配。再按规范检索 Hugging Face 数据集目录和 Wikipedia,一个技巧是先让模型写一张「理想数据集」的假设描述，从中提炼搜索词。检索结果通常格式不合或缺参考答案，agent 生成转换计划把记录改成输入-参考对；没有合适材料就从检索内容合成新题。所有条目过三道验证：结构检查、与规范比对、可答性筛选(带种子 skill 的目标模型在小样本上一题都答不对的来源整个作废)，去重后入池。
Skill Agent 打磨。每轮在反思集上执行现任 skill,把失败样本交给 reflector 模型(实验中是 GPT-5.5)提候选修改；候选与现任在同一批全新验收集上配对比较，只有候选做对的题记 w,只有现任做对的记 l,要求 w>l 且 z=(|w−l|−1)/√(w+l)≥1,取净增益最大者。验收集与提议编辑所用的数据分离，避免自己改的题自己打分。一个冻结验证集全程只用一次，结束时在初始与历次被接受版本里终选，后期编辑泛化变差时不会丢掉早期的好版本。附录 A 的定理把导出 skill 与保留集中最优者的差距拆成分布偏差、评估器偏差和采样误差。
| 模型 | 平均相对提升 | 代表性单项 |
| Qwen3-8B | +29.1% | SearchQA 0.431→0.640 |
| Qwen3-32B | +26.1% | 四个基准全部最高 |
| Llama-3.2-1B | +93.5% | SQuAD 0.207→0.492 |
| Claude Haiku 4.5 | +22.0% | SQuAD 0.416→0.793 |
| GPT-5.5 | +24.3% | SQuAD 0.651→0.852 |
基线为 direct prompting、公开 off-the-shelf skill 和一次性 LLM 生成 skill。19 个模型-基准对里 Prompt2Skill 拿下 10 对最高分，包括 SQuAD 上五个 solver 全胜，且从未显著回退。固定 skill 的风险也被量化：off-the-shelf 把 Llama-3.2-1B 的 SQuAD 从 0.207 打到 0.048,Prompt2Skill 反而拉到 0.492。
它不是逐对全胜：GPT-5.5 的 AIME 上现成数学 skill 拿 0.914,Prompt2Skill 是 0.861;Claude Haiku 的 SearchQA 上 direct 也以 0.857 略高于 0.839。消融方面，换 off-the-shelf 做种子没有一致差异；用户示例从 1 个加到 4 个，SearchQA 上 61.1%→60.9%,基本不动。同预算(上限 7400 次 solver 调用)、同数据同种子下对比 SkillOpt:SearchQA EM 48.71 对 45.79,SQuAD EM/F1 再高 1.20/0.61 个点。
口径要分清：平均 10.8 指百分点；结论里的 36.1%(对 direct)和 83.0%(对 off-the-shelf)是相对变化的等权平均，低基数对会放大这类数字，论文在 E.4 自己点明。
skill 生产从「专家加标注数据」降到了一句话。泄漏审计(附录 C)未发现检索源与目标测试集的词面或哈希重叠，SQuAD 的提升来自 sciq、HotpotQA 等其他数据集，说明学到的是可迁移的答题流程，不是背答案。附录 B 还把它当 NLP AutoML 用：与生成 1000 条数据再微调的 Prompt2Model 变体打平，给「用 skill 替代微调」提供了便宜路径。代价是大量 solver 调用，目标模型走 API 时这是真实开销。