LoRA 合并技巧:三个 adapter 权重近正交,拼接即无损合一

yb2698 · x · 2026-11-20

yb2698 解释其「super-adapter」的合并原理:Qwen3.8-27B 的三个 harness adapter 的权重更新近乎正交(余弦相似度约 0.01),因此可以把它们沿 rank 维度按各 ½ 权重拼接,得到一个 rank-96 的单一 LoRA,精确保留全部三个更新。

注意事项:如果只用单一 harness 且不开 thinking,该 harness 自己的专用 adapter 仍是更好的选择。合并后的 adapter 还更省调用:在两者都能解决的任务上,关 thinking 时工具调用减少 53–73%,开 thinking 时减少 19–48%。

所属事件:yb2698 拼接一周 LoRA 成 super-adapter,Qwen 编程成绩最高涨 20 点(9 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →