用 RL 训练「harness 适配器」LoRA:同底模不同 Agent 环境各配一个小适配器

yb2698 · x · 2026-11-07

Hesamation 提出「通用模型配通用执行框架」的时代正在结束,2027 年将是模型与 harness 极限协同设计之年:模型为特定 harness 调优,harness 为特定模型调优,两者都从用户会话数据中迭代。Lysandre Jik 分享了目前最有效的做法——「harness adapters」:在与实际使用环境相同的 agent harness 内用 RL 训练的小型 LoRA。同一个底座模型,针对 pi、opencode、hermes 等不同环境各配不同适配器。原因:同一模型在不同工具、提示词与控制流下表现差异巨大,与其要求一套权重处处最优,不如为每个环境专门化模型的一小部分。早期结果令人鼓舞:在留出任务上,适配器让模型减少工具调用次数,同时保持或提升准确率;且因为是 LoRA,训练与切换成本都很低。

所属事件:HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(18 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →