专题 · FULL STORY
HF Harness Adapters:从直播训练到正式发布
Hugging Face 的 harness-hub 团队于 11 月初公开直播训练「harness adapters」,用 LoRA+RL 让小模型更擅长充当 Agent;约十天后首个适配器(如 Qwen3.8-27B-pi-adapted)正式发布,解题率据称翻倍,标志该实验线落地成可用成果。
2026-11-06 ~ 2026-11-17 · 2 集 · 21 条
第 1 集 · HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(2026-11-06,18 条)
Hugging Face 团队(harness-hub,参与者包括 yb2698 与 ariG23498)发布并全程直播训练「harness adapters」:不修改 agent harness 本身,而是为每个「模型×agent harness」组合训练一个小型 LoRA 适配器,直接在未经修改的真实编码环境(NousResearch 的 hermes、pi、opencode)中用强化学习优化。覆盖模型包括 LiquidAI 的 LFM2.5-24B-A2B(MoE,2B 激活参数)、LFM3-1.7B 以及 thewebAI 的 TwIL-8B。Lysandre(Liquid AI)与 Aritra(HF)分别从模型方与平台方介绍了这一进展,HF 同步发布详解博客。
已确认
- 单卡 LoRA 微调 LFM3-1.7B 做 agent RL,20 步冒烟训练后在 150 个从未见过的 held-out 任务上测试(与基线配对、95% 置信区间):opencode harness 提升 9.4 ± 6.3 分 pass@1(69%→79%)
- 省算力工程:每个模型一个 vLLM、每个 harness 一个 trainer,共享权重挂 LoRA adapter;LFM3-1.7B 的三个 trainer 共享同一个 vLLM,1350 个 agent 会话评测仅花 5 美元
- 奖励设计:reward = 任务验证器得分 + 0.1 × (1 − calls/15),仅对正确 rollout 生效;消融发现系数 0.3 会损害准确率,0.1 可在准确率不变的前提下把工具调用降低 11–17%
- 环境合成:以 HF Hub 公开 agentic 轨迹为种子,仅当包含可验证工作单元时转为任务,合成 Repair/Build/Extend/QA 四类新环境,并用 LFM2.5-24B 自评做难度分层,以弥补旧环境偏数据分析的不足
- 训练采用 safeagents 反作弊方案,工具调用全被代理审查,防止 reward hacking;直播同时开源环境与训练流程,HF 发布详解博客阐述方法;omarsar0 转发称 HackClub 的 harness adapters 训练正式上线,用 RL 在多款开源模型上训练 LoRA adapter
尚未确认
- 各探索方向(轨迹构建新 RL 任务、新增 opencode harness、跨域迁移等)仍是本轮计划目标,直播完整结果待出
- Hesamation 提出的「2027 年将是模型与 harness 极限协同设计之年」属个人预测,尚无实证
为什么重要
- 该方法表明小模型可通过极低成本(5 美元级)的针对性 RL + LoRA,在特定 agent 框架上获得明显提升,为「模型—框架」协同优化提供了可复现的开源范式;环境合成与反作弊方案也同步开源,降低了社区复现门槛
- 全流程直播 RL 训练 harness LoRA 适配器,envs 与 reward hacking 全开源 — yb2698 · 2026-11-06
- HF 直播开源 RL 训练:轨迹转环境+safeagents 反作弊+LoRA 批量评测 — yb2698 · 2026-11-06
- HF 用开源轨迹合成 RL 环境:Repair/Build/Extend/QA 四类任务 — yb2698 · 2026-11-06
- 用开源轨迹合成 RL 环境:LFM2.5-24B 自评难度分层训练 — yb2698 · 2026-11-06
- Agent RL 奖励设计实测:0.1 系数工具调用降 11-17% 且不掉精度 — yb2698 · 2026-11-06
- 1350 个 agent 会话评测只花 5 美元:LoRA 共享权重训练法 — yb2698 · 2026-11-06
- 单卡 LoRA 微调 1.7B 模型做 agent RL:opencode 提升 9.4 分 — yb2698 · 2026-11-06
- HF 直播 agent 强化学习:LoRA 适配器在真实 harness 内训练 — yb2698 · 2026-11-06
- 团队直播开源 RL 训练:为 hermes/pi/opencode 三个编码 harness 微调 LoRA 适配器 — yb2698 · 2026-11-06
- HF 团队直播训练 harness 适配器:LoRA+RL 让小模型更会做 Agent 任务 — yb2698 · 2026-11-06
- HF harness 适配器训练的四个探索方向:轨迹任务、新 harness 与跨域迁移 — yb2698 · 2026-11-06
- HF 发布 harness adapters 详解博客:每个 harness 一个 LoRA,工具调用全被代理审查 — yb2698 · 2026-11-06
- Harness 适配器:为每个 Agent 框架单独训 LoRA,实测 1350 次会话仅花 5 美元 — LysandreJik · 2026-11-06
- Hugging Face 推出 Harness Adapters:按任务与框架训练专属 LoRA 适配器 — Disastrous-Work-1632 · 2026-11-06
- Hugging Face 发布 Harness adapters:在真实 agent 环境里用安全 RL 训练 LoRA — yb2698 · 2026-11-06
- Harness adapters 训练上线:用 RL 优化 LFM2.5 等 agent 适配器 — yb2698 · 2026-11-06
- LFM2.5/CTM 等 Liquid 模型启动 LoRA RL 训练,主攻 agent 任务 — omarsar0 · 2026-11-07
- 用 RL 训练「harness 适配器」LoRA:同底模不同 Agent 环境各配一个小适配器 — yb2698 · 2026-11-07
第 2 集 · Harness Adapters 发布:LoRA 适配让 Qwen3.8-27B 解题率翻倍(2026-11-17,3 条)
Hugging Face 的 harness-hub 团队发布首个 Harness Adapter(如 Qwen3.8-27B-pi-adapted)。其思路是不更换 agent harness,而是通过安全 RL 训练 LoRA 适配器,让模型适配实际使用的 harness,从而显著提升 RL 训练编码 agent 的效率。实测显示,该方法可使 Qwen3.8-27B 在 Pi 上的解题率翻倍。
- Pi harness 适配器 RL 训练实测:SWE-bench Pro 29.4%→62.7%,工具调用省 55% — yb2698 · 2026-11-17
- harness-hub 发布首个 harness 适配器,RL 训练编码 agent 效率 — yb2698 · 2026-11-17
- Harness Adapters发布:LoRA让Qwen3.8-27B在Pi上解题率翻倍 — LysandreJik · 2026-11-17