Hugging Face 发布 Harness adapters:在真实 agent 环境里用安全 RL 训练 LoRA
yb2698 · x · 2026-11-06
Hugging Face 团队发布多个 "harness adapters":为每个「模型×agent harness」组合训练一个 LoRA 适配器,直接在未经修改的 pi、opencode、hermes 等真实 agent 环境里用 RL 在可验证任务上训练。
关键点
- 在保留集评测任务上,适配器比基础模型调用更少工具,同时保持或提升准确率,让本地 agentic 开发更高效
- 训练环境来自 Hub 上的公开 coding session:Repo2RLEnvs 将其转为可验证任务,与 SmolDataEnvs 混合训练
- safeagents 作为 harness 与模型之间的代理,用规则检测器审查每一次工具调用,reward-hacking 尝试被拦截并记 0 分
- TwIL-8B 这个从未做过 agent 训练的推理模型也能学会,最终训练全程直播
所属事件:HF 开源直播训练 harness 适配器：LoRA+RL 低成本提升小模型 agent 能力(17 条相关)→
「编程与Agent」频道最新
- YC 新创 Trepo 打造厨房硬件，让 AI Agent 自动帮你买菜 — ycombinator · 2026-11-07
- Cognition 发布 Devin Review 2.0：便宜 5 倍、快 1.5 倍 — smtabatabaie · 2026-11-07
- JetBrains 将 Air 智能体开发体验直接内置进 IDE，免费版也包含 — therealdanvega · 2026-11-07
- 经验帖：AI Agent 写 CSS 时 :has() 规则要收紧，避免全局样式重算 — jh3yy · 2026-11-07
- 开发者自建 Chief of Staff 机器人后迎来破纪录营收月 — joshgonsalves_ · 2026-11-07
- Trail of Bits 实战复盘:数百 AI Agent 猎漏开源代码的三条经验 — banteg · 2026-11-07