LoRA 合并技巧:三个 adapter 权重近正交,拼接即无损合一
yb2698 · x · 2026-11-20
yb2698 解释其「super-adapter」的合并原理:Qwen3.8-27B 的三个 harness adapter 的权重更新近乎正交(余弦相似度约 0.01),因此可以把它们沿 rank 维度按各 ½ 权重拼接,得到一个 rank-96 的单一 LoRA,精确保留全部三个更新。
注意事项:如果只用单一 harness 且不开 thinking,该 harness 自己的专用 adapter 仍是更好的选择。合并后的 adapter 还更省调用:在两者都能解决的任务上,关 thinking 时工具调用减少 53–73%,开 thinking 时减少 19–48%。
所属事件:yb2698 拼接一周 LoRA 成 super-adapter,Qwen 编程成绩最高涨 20 点(9 条相关)→
「编程与Agent」频道最新
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21
- Databricks Genie One 通过 MCP 把受管数据接入 ChatGPT 与 Claude — Wise_Ear_4064 · 2026-11-21
- 开源项目 acmdthat:进程内本地 AI 生成 CLI 命令 — ex-ex-pat · 2026-11-21