微软论文：蒸馏 50 条轨迹写成技能卡，小模型追平推理模式
rohanpaul_ai · x · 2026-09-07
微软新论文探索「推理成本只付一次」：用少量从历史 agent 运行中学到的规则，替代昂贵的测试时推理。
方法
- 收集 35–50 条过往轨迹，让编码 agent 提取反复出现的失败模式
- 把模式写成一份小型 markdown 技能，注入非推理模型的 system prompt
结果
- GPT-5.4-mini 上，这些技能在 4 个 agent 基准中恢复了非推理与推理模式差距的 55%–100%+，输出 token 少 2.9–4.5 倍
- 在 ALFWorld 和 τ²-retail 上，带技能的非推理模型反超推理模式
- 蒸馏器不需要推理轨迹：仅用廉价非推理 rollout 构建的技能在全部 4 个领域都有竞争力
边界
- 推理模式仍在 telecom 和 SpreadsheetBench 上胜出——这些任务包含大量实例特定依赖，固定技能无法覆盖
实践结论：把重复流程蒸馏成技能，把昂贵的测试时推理留给真正需要即时搜索的任务。
所属事件:微软论文：蒸馏技能卡可省数倍token(2 条相关)→
「编程与Agent」频道最新
- Reddit 开发者求问：如何防止 Agent 提示词越改越退化 — SleepFlimsy6963 · 2026-10-23
- 接付费商单该用什么模型?Reddit 创作者晒 Claude Code+ComfyUI 工作流 — newaccount47 · 2026-10-23
- 社科学者批 AI 圈：把 Agent 开发当会自动变好的黑箱 — RexDouglass · 2026-10-23
- 网友 vibe coding 出 Tesla Roadster 小游戏，赶在 GTA VI 之前 — Jasonio · 2026-10-23
- Codex CLI 0.164.0 报 account/read 错误，重启 daemon 可解 — bytebot · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23