专题 · FULL STORY

HF Harness Adapters:从直播训练到正式发布

Hugging Face 的 harness-hub 团队于 11 月初公开直播训练「harness adapters」,用 LoRA+RL 让小模型更擅长充当 Agent;约十天后首个适配器(如 Qwen3.8-27B-pi-adapted)正式发布,解题率据称翻倍,标志该实验线落地成可用成果。

2026-11-06 ~ 2026-11-17 · 2 集 · 21 条

第 1 集 · HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(2026-11-06,18 条)

Hugging Face 团队(harness-hub,参与者包括 yb2698 与 ariG23498)发布并全程直播训练「harness adapters」:不修改 agent harness 本身,而是为每个「模型×agent harness」组合训练一个小型 LoRA 适配器,直接在未经修改的真实编码环境(NousResearch 的 hermes、pi、opencode)中用强化学习优化。覆盖模型包括 LiquidAI 的 LFM2.5-24B-A2B(MoE,2B 激活参数)、LFM3-1.7B 以及 thewebAI 的 TwIL-8B。Lysandre(Liquid AI)与 Aritra(HF)分别从模型方与平台方介绍了这一进展,HF 同步发布详解博客。

已确认

  • 单卡 LoRA 微调 LFM3-1.7B 做 agent RL,20 步冒烟训练后在 150 个从未见过的 held-out 任务上测试(与基线配对、95% 置信区间):opencode harness 提升 9.4 ± 6.3 分 pass@1(69%→79%)
  • 省算力工程:每个模型一个 vLLM、每个 harness 一个 trainer,共享权重挂 LoRA adapter;LFM3-1.7B 的三个 trainer 共享同一个 vLLM,1350 个 agent 会话评测仅花 5 美元
  • 奖励设计:reward = 任务验证器得分 + 0.1 × (1 − calls/15),仅对正确 rollout 生效;消融发现系数 0.3 会损害准确率,0.1 可在准确率不变的前提下把工具调用降低 11–17%
  • 环境合成:以 HF Hub 公开 agentic 轨迹为种子,仅当包含可验证工作单元时转为任务,合成 Repair/Build/Extend/QA 四类新环境,并用 LFM2.5-24B 自评做难度分层,以弥补旧环境偏数据分析的不足
  • 训练采用 safeagents 反作弊方案,工具调用全被代理审查,防止 reward hacking;直播同时开源环境与训练流程,HF 发布详解博客阐述方法;omarsar0 转发称 HackClub 的 harness adapters 训练正式上线,用 RL 在多款开源模型上训练 LoRA adapter

尚未确认

  • 各探索方向(轨迹构建新 RL 任务、新增 opencode harness、跨域迁移等)仍是本轮计划目标,直播完整结果待出
  • Hesamation 提出的「2027 年将是模型与 harness 极限协同设计之年」属个人预测,尚无实证

为什么重要

  • 该方法表明小模型可通过极低成本(5 美元级)的针对性 RL + LoRA,在特定 agent 框架上获得明显提升,为「模型—框架」协同优化提供了可复现的开源范式;环境合成与反作弊方案也同步开源,降低了社区复现门槛

第 2 集 · Harness Adapters 发布:LoRA 适配让 Qwen3.8-27B 解题率翻倍(2026-11-17,3 条)

Hugging Face 的 harness-hub 团队发布首个 Harness Adapter(如 Qwen3.8-27B-pi-adapted)。其思路是不更换 agent harness,而是通过安全 RL 训练 LoRA 适配器,让模型适配实际使用的 harness,从而显著提升 RL 训练编码 agent 的效率。实测显示,该方法可使 Qwen3.8-27B 在 Pi 上的解题率翻倍。