yb2698 拼接一周 LoRA 成 super-adapter,Qwen 编程成绩最高涨 20 点
yb2698 发布面向 Qwen3.8-27B 的实验性「super-adapter」:把一周内针对不同 agent harness(工具链)训练的 LoRA 适配器直接沿 rank 维度拼接合并成一个大 LoRA,模型无需在多个适配器间切换即可获得各家 harness 的能力提升。实测成绩显著上涨,权重与训练配方已开源,值得关注低成本合并多个任务适配器这一做法。
已确认
- 合并对象是本周训练的全部 harness 适配器(涉及三个),拼接方式为沿 rank 维度、各按 ½ 权重 concatenate 成一个更大 rank 的 LoRA(HauntingMoment 转述为单个 rank-96 LoRA)。
- 合并原理:作者指出三个 harness adapter 的权重更新近乎正交(余弦相似度约 0.01),因此拼接可近似无损地合一。
- 实测成绩(thinking 开启 xhigh,基线 → super-adapter):6 组基准平均从 55.5% 升至 63.5%;SWE-Bench Pro(hard 51)上 Hermes Agent 从 45% 升到 61%,OpenCode 从 47% 升到 67%(涨幅约 20 点),pi 保持 74%;Terminal 相关工具调用最多节省 73%。
- 权重已上线 Hugging Face(harness-hub/Qwen3.8-2…),并配套完整训练配方博客与开源训练教程。
为什么重要
- 展示了一种极简的 LoRA 合并路径:只要不同任务的适配器权重近正交,拼接即可近似无损地集成多种能力,省去多适配器管理和切换成本。
- 作者在博客与后续帖子中强调,读者可以在自己的任务上、为自己常用的模型与 harness 训练专属适配器并同样合并,形成可复用的个人「harness-hub」工作流。
2026-11-20 ~ 2026-11-20 · 9 条相关
- 第 1 集:HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(2026-11-06,18 条)
- 第 2 集:Hugging Face 发布 Harness Adapters:LoRA 让 Qwen3.8-27B 适配 Pi agent(2026-11-17,16 条)
- 第 3 集:HF 发布 Qwen3.8-27B OpenCode LoRA 适配器(2026-11-18,7 条)
- 第 4 集:yb2698 拼接一周 LoRA 成 super-adapter,Qwen 编程成绩最高涨 20 点(2026-11-20,9 条)
一手来源
- 把一周 LoRA 适配器拼接成 super-adapter,Qwen 编程成绩最高涨 20 点 — yb2698 ·
- LoRA 合并技巧:三个 adapter 权重近正交,拼接即无损合一 — yb2698 ·
- super-adapter 权重已上线 Hugging Face,附完整训练配方博客 — yb2698 ·
- 【源头】把一周 LoRA 适配器拼接成 super-adapter,Qwen 编程成绩最高涨 20 点 — yb2698 · 2026-11-20
- Hermes 超级适配器实测:SWE-Bench Pro 提升逾 10 个点,工具调用最多省 73% — yb2698 · 2026-11-20
- 作者开源训练教程:可在自己的任务上训练专属 harness 适配器 — yb2698 · 2026-11-20
- 合并 LoRA「super-adapter」实测:6 组基准平均 55.5%→63.5% — yb2698 · 2026-11-20
- 【源头】LoRA 合并技巧:三个 adapter 权重近正交,拼接即无损合一 — yb2698 · 2026-11-20
- 【源头】super-adapter 权重已上线 Hugging Face,附完整训练配方博客 — yb2698 · 2026-11-20
- 单个 rank-96 LoRA 同时适配三种 agent 框架,SWE-Bench Pro 均值 55.5%→63.5% — HauntingMoment · 2026-11-20