全流程直播 RL 训练 harness LoRA 适配器，envs 与 reward hacking 全开源

yb2698 · x · 2026-11-06

作者将在 Hugging Face 上直播为三个编码 agent harness（Hermes、pi、opencode）训练 LoRA 适配器的全过程，模型包括 LiquidAI LFM2.5-24B-A2B（MoE，2B 激活参数）、LFM3-1.7B 和实验性的 TwIL-8B。

方法：harness 原样运行，在每个模型之上训练 rank 32、覆盖所有 linear 层的 LoRA 适配器；核心问题是「在给定 harness 内用可验证任务做 RL，能否让模型在同一 harness 下表现更好」，此前迭代在 LFM2.5-24B-A2B 上已有积极信号
训练直播页实时展示 reward 曲线、每个 checkpoint 的 held-out pass@1 定时评测、工具调用成本等指标；同一模型的三个 trainer 共享一个 vLLM
安全机制：所有工具调用经过 safeagents 代理检查，未声明工具、未知主机或高危规则命中的调用会被拦截且该 rollout 得 0 分，低危命中记录为可疑
RL 环境、reward hacking 尝试、评测结果与训练协议将全部开源

「编程与Agent」频道最新