HF 直播 agent 强化学习：LoRA 适配器在真实 harness 内训练
yb2698 · x · 2026-11-06
Hugging Face 开源并直播一套 agent RL 训练协议：让开源模型（LFM2.5-24B-A2B、LFM3-1.7B、TwiL-8B）在 pi、opencode、hermes 等真实 agent harness 中不加修改地执行任务，用 TRL 在每个模型上训练一个小 LoRA 适配器（rank 32、覆盖所有线性层），验证「在特定 harness 内做可验证任务的 RL，能否提升模型在该 harness 下的表现」。
早期信号：20 步 LFM3-1.7B 冒烟运行在 150 个未训练过的 held-out 任务上，opencode 提升 +9.4 ± 6.3 个点 pass@1（69%→79%），hermes +6.7 ± 7.1，pi 基本持平；TwiL-8B 虽未在 agent 任务上预训练，也能随训练越来越高效。安全侧由 safeagents 代理拦截未声明工具、未出现主机与高危操作，被拦截的 rollout 记 0 分。环境、规则、训练配方、每个 checkpoint 的评测与全部被拦截调用均开源，基于 TRL、OpenEnv、Harbor 和 vLLM，每个模型的三个 trainer 共享一个 vLLM。
所属事件:HuggingFace 开源直播 agent RL 训练：LoRA 适配器显著提升编码 harness(8 条相关)→
「编程与Agent」频道最新
- BoxWorks 发布 Box Content Retrieval，CFO 级内容平台押注智能体 — shashib · 2026-11-06
- Agent 别给工具，给解释器：同一模型任务耗时从 19 分钟降到 2 分钟 — Itz_hany · 2026-11-06
- 扫描 99 个热门 MCP 服务器：无工具投毒，真正的坑在 HTTP 模式 — Trout_dev · 2026-11-06
- Notion 数据：Agent 使用量涨 9 倍，第三方 Agent 的 MCP 流量暴涨 60 倍 — dsp_ · 2026-11-06
- Cognition 发布 Devin Review 2.0：PR 审查成本降 5 倍、速度快 1.5 倍 — DevinAI · 2026-11-06
- Salesforce 推出 Metadata Grounding MCP,让编码 Agent 读懂你的 Org — msrivastav13 · 2026-11-06