A.L.F.R.E.D. 想把任务模板蒸馏给小模型
FeiX7 · reddit · 2026-07-16
作者提出了一个叫 **A.L.F.R.E.D.** 的方案：**Adaptive Local-First Routing and Execution Distillation**。 核心想法是把“大模型处理过的任务模式”提炼成可复用模板，再交给小模型执行，而不是每次都让大模型完整推理一遍。 ### 目标 - 让简单任务更多落到小模型上 - 减少 token 和推理成本 - 提高速度、可验证性和确定性 ### 举例 以“设置闹钟”为例： 1. 第一次遇到新模式时，调用大模型解决 2. 再把这次成功流程抽成 pattern / skill 3. 下次同类请求直接交给小模型执行 作者表示，这样可把一个本来需要大约 7k token 的简单任务压到约 1k token 左右。仓库里还放了 benchmark、thesis 和完整实现，欢迎测试和反馈。