HF 开源直播训练 harness 适配器：LoRA+RL 低成本提升小模型 agent 能力
Hugging Face 团队（harness-hub，参与者包括 yb2698 与 ariG23498）发布并全程直播训练「harness adapters」：不修改 agent harness 本身，而是为每个「模型×agent harness」组合训练一个小型 LoRA 适配器，直接在未经修改的真实编码环境（NousResearch 的 hermes、pi、opencode）中用强化学习优化。覆盖模型包括 LiquidAI 的 LFM2.5-24B-A2B（MoE，2B 激活参数）、LFM3-1.7B 以及 thewebAI 的 TwIL-8B。Lysandre（Liquid AI）与 Aritra（HF）分别从模型方与平台方介绍了这一进展，HF 同步发布详解博客。
已确认
- 单卡 LoRA 微调 LFM3-1.7B 做 agent RL，20 步冒烟训练后在 150 个从未见过的 held-out 任务上测试：opencode harness 提升 9.4 ± 6.3 分 pass@1（69%→79%）
- 省算力工程：每个模型一个 vLLM、每个 harness 一个 trainer，共享权重挂 LoRA adapter；LFM3-1.7B 的三个 trainer 共享同一个 vLLM，1350 个 agent 会话评测仅花 5 美元
- 奖励设计：reward = 任务验证器得分 + 0.1 × (1 − calls/15)，仅对正确 rollout 生效；系数 0.3 会损害准确率，0.1 可在准确率不变的前提下把工具调用降低 11–17%
- 环境合成：以 HF Hub 公开 agentic 轨迹为种子，仅当包含可验证工作单元时转为任务，合成 Repair/Build/Extend/QA 四类新环境，并用 LFM2.5-24B 自评做难度分层，以弥补旧环境偏数据分析的不足
- 训练采用 safeagents 反作弊方案，工具调用全被代理审查，防止 reward hacking；直播同时开源环境与训练流程
尚未确认
- 各探索方向（轨迹构建新 RL 任务、新 harness、跨域迁移等，见 m11）仍属本轮计划目标，直播结果待出
为什么重要
- 该方法表明小模型可通过极低成本（5 美元级）的针对性 RL + LoRA，在特定 agent 框架上获得明显提升，为「模型—框架」协同优化提供了可复现的开源范式
2026-11-06 ~ 2026-11-07 · 17 条相关
一手来源
- Harness 适配器：为每个 Agent 框架单独训 LoRA,实测 1350 次会话仅花 5 美元 — LysandreJik ·
- 单卡 LoRA 微调 1.7B 模型做 agent RL：opencode 提升 9.4 分 — yb2698 ·
- HF 发布 harness adapters 详解博客:每个 harness 一个 LoRA,工具调用全被代理审查 — yb2698 ·
- 全流程直播 RL 训练 harness LoRA 适配器，envs 与 reward hacking 全开源 — yb2698 · 2026-11-06
- HF 直播开源 RL 训练:轨迹转环境+safeagents 反作弊+LoRA 批量评测 — yb2698 · 2026-11-06
- HF 用开源轨迹合成 RL 环境:Repair/Build/Extend/QA 四类任务 — yb2698 · 2026-11-06
- 用开源轨迹合成 RL 环境：LFM2.5-24B 自评难度分层训练 — yb2698 · 2026-11-06
- Agent RL 奖励设计实测：0.1 系数工具调用降 11-17% 且不掉精度 — yb2698 · 2026-11-06
- 1350 个 agent 会话评测只花 5 美元：LoRA 共享权重训练法 — yb2698 · 2026-11-06
- 【源头】单卡 LoRA 微调 1.7B 模型做 agent RL：opencode 提升 9.4 分 — yb2698 · 2026-11-06
- HF 直播 agent 强化学习：LoRA 适配器在真实 harness 内训练 — yb2698 · 2026-11-06
- 团队直播开源 RL 训练：为 hermes/pi/opencode 三个编码 harness 微调 LoRA 适配器 — yb2698 · 2026-11-06
- HF 团队直播训练 harness 适配器:LoRA+RL 让小模型更会做 Agent 任务 — yb2698 · 2026-11-06
- HF harness 适配器训练的四个探索方向:轨迹任务、新 harness 与跨域迁移 — yb2698 · 2026-11-06
- 【源头】HF 发布 harness adapters 详解博客:每个 harness 一个 LoRA,工具调用全被代理审查 — yb2698 · 2026-11-06
- 【源头】Harness 适配器：为每个 Agent 框架单独训 LoRA,实测 1350 次会话仅花 5 美元 — LysandreJik · 2026-11-06
- Hugging Face 推出 Harness Adapters:按任务与框架训练专属 LoRA 适配器 — Disastrous-Work-1632 · 2026-11-06
- Hugging Face 发布 Harness adapters:在真实 agent 环境里用安全 RL 训练 LoRA — yb2698 · 2026-11-06
- Harness adapters 训练上线:用 RL 优化 LFM2.5 等 agent 适配器 — yb2698 · 2026-11-06
- LFM2.5/CTM 等 Liquid 模型启动 LoRA RL 训练，主攻 agent 任务 — omarsar0 · 2026-11-07