全流程直播 RL 训练 harness LoRA 适配器,envs 与 reward hacking 全开源
yb2698 · x · 2026-11-06
作者将在 Hugging Face 上直播为三个编码 agent harness(Hermes、pi、opencode)训练 LoRA 适配器的全过程,模型包括 LiquidAI LFM2.5-24B-A2B(MoE,2B 激活参数)、LFM3-1.7B 和实验性的 TwIL-8B。
- 方法:harness 原样运行,在每个模型之上训练 rank 32、覆盖所有 linear 层的 LoRA 适配器;核心问题是「在给定 harness 内用可验证任务做 RL,能否让模型在同一 harness 下表现更好」,此前迭代在 LFM2.5-24B-A2B 上已有积极信号
- 训练直播页实时展示 reward 曲线、每个 checkpoint 的 held-out pass@1 定时评测、工具调用成本等指标;同一模型的三个 trainer 共享一个 vLLM
- 安全机制:所有工具调用经过 safeagents 代理检查,未声明工具、未知主机或高危规则命中的调用会被拦截且该 rollout 得 0 分,低危命中记录为可疑
- RL 环境、reward hacking 尝试、评测结果与训练协议将全部开源
所属事件:HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(18 条相关)→
「编程与Agent」频道最新
- 博主用 AI 生成可交互 HTML 页面,替代枯燥的 PDF 文档 — jonathanmast · 2026-11-08
- 用 Opus 3 当编排器玩子代理:模型乐意但 Claude Code 开销太大 — repligate · 2026-11-08
- Agent 群审计牙医报价单发现多处猫腻,20 秒 prompt 省 $1000 — gabriberton · 2026-11-08
- Yacine 断言:合并要等几周说明你没在做要紧的事 — yacineMTB · 2026-11-08
- 程序员吐槽:生成式 UI 兴起后,同事都指望我看懂他们的界面 — sloppenheimer · 2026-11-08
- 开发者开源三国 SLG:不让玩家点鼠标,全程让 Claude 通过 MCP 打仗 — Regular_Bison_2175 · 2026-11-08