Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills
Letian Zhu, Han Li, Yifan Yao, Xinping Lei, Xinyu Che, Jiahao Wang, Dianyi Wang, Yucheng Fu, Jiakai Wang, Zhiqi Bai, Wenbo Su, Jiaheng Liu
cs.AI
2026-10-13
SSL 让学生操作环境并自写技能包，教师只穿插追问。155 个留出案例上固定窗口效用 0.801，无技能 0.723、Trace2Skill 0.761；按未解问题复盘效用 0.805，教师 token 少 61.7%。
Agent Skill 是跨会话复用的说明书和脚本，不改模型权重。一次成功常常没检验步骤何时成立、变体能否沿用。未检验的假设进了包，新会话会当规则执行。
Trace2Skill 从事后轨迹抽教训，SKILL-KD 对照师生轨迹打补丁再重跑，SkillLearnBench 的教师意见在失败之后才到。改哪一条，取决于学生当时试了什么。
SkillTransferBench 含 35 族、408 个可执行案例，改编自 Terminal-Bench、AgentIF-OneDay、SpreadsheetBench、CodeContests、FullStackBench 和 OfficeBench 六个基准。每族公开不变目标和允许变化的轴，只在一个锚点上练习，留出案例由新会话加载冻结包来考。主队列 22 族、155 例：至少 5 个核对过的留出案例，且无技能筛查中至少两次未满分。
SSL（Socratic Skill Learning）由南京大学与阿里巴巴提出，把操作和写包交给学生，建议交给教师。Student 用目标求解模型。Educator 只读近期推理、工具结果和当前包，可以解释、质疑、诊断或沉默。学生可以追问、改写或拒绝。迁走的只有 SKILL.md 及可选脚本和参考。
fresh solver 指新开会话、只加载冻结包的求解器。每轮结束用它重跑锚点，分数进入下一轮。师生会话保留，考试一律新开，固定三轮。
主实验学生为 Qwen3.7 Plus，教师为 Qwen3.7 Max。DeepSeek-V4-Flash 配 Pro、Kimi K2.5 配 Kimi K3 各自习得。对照是无技能、专家代写、写完再评，以及改编的 Trace2Skill 与 SKILL-KD。
family-macro Avg@3 对族等权，族内平均案例与重复。Qwen 各条件习得 3 次。超时记 0。
| 方法 | 效用 | 相对无技能 | 全通过率 | 习得 token/次 |
| 无技能 | 0.723 | 基线 | 32.5% | 无 |
| Expert Authoring | 0.728 | +0.46 个点 | 40.4% | 4.95M |
| Post-hoc Teaching | 0.748 | +2.44 个点 | 40.4% | 8.71M |
| Trace2Skill（改编） | 0.761 | +3.76 个点 | 39.1% | 未给同口径 |
| SKILL-KD（改编） | 0.751 | +2.76 个点 | 41.7% | 口径不同 |
| Fixed-Window SSL | 0.801 | +7.75 个点 | 49.5% | 6.89M |
| Issue-Guided SSL | 0.805 | +8.18 个点 | 50.8% | 5.72M |
固定窗口对无技能的区间是 [3.53, 12.68] 个点，按任务族重采样。专家代写与事后教学的区间都跨 0。它比 Trace2Skill 高 3.99 个点，比 SKILL-KD 高 4.99 个点，比事后教学高 5.31 个点且习得 token 少 21%。全通过率从 32.5% 到 49.5% 与 50.8%。
主队列上，两套 SSL 在六个域都是前两名。155 例中固定窗口 72 好、59 平、24 差，22 族里 16 族高于无技能。Flask 从 0.408 到 0.785；银行流水过滤上，各方法都低于无技能的 0.678。
轻量子集 10 族 77 例，数字是相对无技能的百分点。Qwen 三次平均，另两对模型各一次。
| 协议 | Qwen | DeepSeek | Kimi |
| Fixed-Window SSL | +4.1 | +3.1 | +8.2 |
| Issue-Guided SSL | +4.5 | +2.5 | +7.4 |
| Expert Authoring | +1.1 | +1.2 | +5.8 |
| Post-hoc Teaching | -0.7 | +0.5 | +4.1 |
三组都是穿插在前、代写居中。DeepSeek 的固定窗口区间 [-4.63, +13.03] 跨 0；Kimi 为 0.762 对 0.679。
630 次复盘中，给课比例由第 1 轮 73.0% 降到第 3 轮 16.1%。满分之后 99 轮里 98 轮仍改包，其中 66 轮没有新课。相对沉默，下一步写文件高 23.9 个点，10 次调用内改包高 38.6 个点。复盘时机随学生进度变化，只能看成关联。
财报一例里，教师让学生用其他科目反推。通用算术标出 4 处并指错行；毛利率写 60.8%，520.4/842.0×100 约 61.8%，改成财务关系后才锁定第 210 行。留出题上新会话 4/4 通过。
单次复盘由 74.7K 增至 395.7K（跟进对话前，约 5.3 倍），末轮沉默占 85.8%。按问题复盘效用 0.805，教师 token 从 2.40M 降到 0.92M，少 61.7%；总 token 从 6.89M 到 5.72M，少 16.9%。单位教师 token 的增益是固定窗口的 2.75 倍。复盘次数少 47.8%，单次少 26.7%。每 5 次或每 20 次调用效用都是 0.776。DeepSeek 与 Kimi 教师 token 少 63.8% 和 77.4%；总 token 前者升、后者降。
技能包是不改权重、把流程带进新会话的接口。更强模型亲自写包，只比无技能高 0.46 个点。学生执笔再加中途追问，比写完再评高 5.31 个点，习得 token 更少。该查什么由建议指出，留不留由运行结果决定。
按未解问题叫教师，少 61.7% 教师 token，效用仍到 0.805。任务得有锚点、公开规格和自动判分。相对轨迹蒸馏大约 4 个点，区间下沿 1.45，属于渐进改进。办公域无技能已到 0.904，包几乎加不动。
附录写明，实验比的是完整协议，且只有一个共享锚点，没有把教师、复盘节奏和问题树拆开估贡献。
变化轴练习时可见。留出案例只换这些轴上的取值，规格外的新任务不在测试里。主结果来自 Qwen3.7 Plus 配 Max。DeepSeek 与 Kimi 仅 10 族、1 次重复，前者增益区间跨 0。蒸馏基线经过改编，SKILL-KD 的 token 口径与 SSL 不同，66 次运行共 128.11M，不能直接比成本。
固定窗口使 24 例变差；25 个原本稳定满分的案例里，固定窗口退步 3 个，按问题复盘退步 5 个。三次效用 0.772、0.799、0.831，标准差 0.030，无技能仅 0.006。教师一直是更强模型。满分之后包仍在改，试错和追问的贡献分不开。