HuggingFace 开源直播 agent RL 训练：LoRA 适配器显著提升编码 harness

Hugging Face 开源并直播了一套完整的 agent 强化学习训练协议：让 LiquidAI 的 LFM2.5-24B-A2B（MoE，2B 激活参数）、LFM3-1.7B 及 TwiL-8B 三款开源模型在 hermes、pi、opencode 三个真实编码 agent harness 中不加修改地执行任务并训练 LoRA 适配器，训练环境与 reward hacking 防护全部开源。实测结果显示效果与成本都相当可观：LFM3-1.7B 仅经 20 步冒烟训练，opencode harness 在 150 个从未训练过的 held-out 任务上提升 9.4 ± 6.3 分 pass@1（69%→79%，95% 置信区间、与基线配对），整套 1350 个 agent 会话的评测成本仅约 5 美元。

已确认

训练采用省算力架构：每个模型一个 vLLM，每个 harness 一个 trainer，各自在共享权重上挂 LoRA adapter；LFM3-1.7B 的三个 trainer 共享同一 vLLM 实例
奖励设计为「任务验证器得分 + 0.1 × (1 − calls/15)」，仅对正确的 rollout 生效。消融显示系数取 0.3 会损害准确率，取 0.1 时准确率不变而工具调用次数下降 11–17%
为弥补旧环境偏重数据分析任务的不足，以 HF Hub 上的公开 agentic 轨迹为种子合成新 RL 环境：仅当轨迹包含可验证工作单元时才转化为任务，生成 Repair（先失败后修复）、Build、Extend、QA 四类新环境，并用 LFM2.5-24B 自评做难度分层
训练中加入 safeagents 反作弊机制对抗 reward hacking，相关 envs 全部开源

为什么重要

证明了在真实 agent harness 内、不加修改地用极小算力（单卡、LoRA、少量训练步数）即可显著提升小模型的 agent 能力，且评测成本被压到个位数美元
环境合成方法（轨迹→可验证任务）与奖励消融结论为社区提供了可复用的 agent RL 配方，全套开源降低了复现门槛

2026-11-06 ~ 2026-11-06 · 8 条相关

一手来源

全流程直播 RL 训练 harness LoRA 适配器，envs 与 reward hacking 全开源 — yb2698 · 2026-11-06 00:29 北京时间
单卡 LoRA 微调 1.7B 模型做 agent RL：opencode 提升 9.4 分 — yb2698 · 2026-11-06 00:29 北京时间
HF 直播开源 RL 训练:轨迹转环境+safeagents 反作弊+LoRA 批量评测 — yb2698 · 2026-11-06 00:29 北京时间

【源头】全流程直播 RL 训练 harness LoRA 适配器，envs 与 reward hacking 全开源 — yb2698 · 2026-11-06
【源头】HF 直播开源 RL 训练:轨迹转环境+safeagents 反作弊+LoRA 批量评测 — yb2698 · 2026-11-06
HF 用开源轨迹合成 RL 环境:Repair/Build/Extend/QA 四类任务 — yb2698 · 2026-11-06
用开源轨迹合成 RL 环境：LFM2.5-24B 自评难度分层训练 — yb2698 · 2026-11-06
Agent RL 奖励设计实测：0.1 系数工具调用降 11-17% 且不掉精度 — yb2698 · 2026-11-06
1350 个 agent 会话评测只花 5 美元：LoRA 共享权重训练法 — yb2698 · 2026-11-06
【源头】单卡 LoRA 微调 1.7B 模型做 agent RL：opencode 提升 9.4 分 — yb2698 · 2026-11-06
HF 直播 agent 强化学习：LoRA 适配器在真实 harness 内训练 — yb2698 · 2026-11-06