3 毫秒免训练改 LLM 权重:决策模型蒸馏效果媲美 LoRA

Nandakishor_ml · reddit · 2026-11-10

开发者 Nandakishor 基于此前的开源决策模型 Laya,实现了一种直接编辑 LLM 权重的免训练方法:把一个能量型决策引擎(在 300 行数据上拟合)以闭式解方式「蒸馏」进 Qwen 3.5 0.8B,教会它适时进行工具调用等新技能,无需梯度下降。配图基准(93 条 held-out 请求)显示:工具选择准确率 80%→93.5%,ready 判断 18%→97.8%;2×T4 上总耗时 87 秒(单次编辑仅 3 毫秒),仅改动 26.2 万个权重(LoRA 为 2.63 亿);WikiText 困惑度 +10%,低于 LoRA 的 +15%;15 条无关 prompt 仅 1 条受损,无灾难性遗忘。代码已在 Kaggle 开源。