单个 rank-96 LoRA 同时适配三种 agent 框架,SWE-Bench Pro 均值 55.5%→63.5%

HauntingMoment · reddit · 2026-11-20

Qwen3.8-27B 的「super adapter」实验:分别为 Hermes Agent、OpenCode、pi 三种 agent harness 训练的 LoRA 权重更新几乎正交(余弦相似度约 0.01),于是沿 rank 维拼接成一个 rank-96 LoRA,无损合三个更新,无需 TIES/DARE 等有损合并。

结果(开启 thinking,xhigh):

作者坦诚 pi 在 SWE-Bench Pro 上无提升,主要收益来自 Hermes Agent 与 OpenCode。博客核心是可复用配方:读者可为自家模型、harness 和任务训练 harness adapter,完整实验与开放问题见 HF 博客,适配器已开源(harness-hub/Qwen3.8-27B-super-adapter)。

所属事件:yb2698 拼接一周 LoRA 成 super-adapter,Qwen 编程成绩最高涨 20 点(9 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →