用 RL 训练「harness 适配器」LoRA:同底模不同 Agent 环境各配一个小适配器
yb2698 · x · 2026-11-07
Hesamation 提出「通用模型配通用执行框架」的时代正在结束,2027 年将是模型与 harness 极限协同设计之年:模型为特定 harness 调优,harness 为特定模型调优,两者都从用户会话数据中迭代。Lysandre Jik 分享了目前最有效的做法——「harness adapters」:在与实际使用环境相同的 agent harness 内用 RL 训练的小型 LoRA。同一个底座模型,针对 pi、opencode、hermes 等不同环境各配不同适配器。原因:同一模型在不同工具、提示词与控制流下表现差异巨大,与其要求一套权重处处最优,不如为每个环境专门化模型的一小部分。早期结果令人鼓舞:在留出任务上,适配器让模型减少工具调用次数,同时保持或提升准确率;且因为是 LoRA,训练与切换成本都很低。
所属事件:HF 直播训练 harness 适配器:LoRA+RL 让小模型更会当 Agent(18 条相关)→
「编程与Agent」频道最新
- Agent Identity 101:一张时序图讲透智能体三种授权模式 — adnan_hashmi · 2026-11-17
- 用 Opik 优化金融事故修复 Agent,评测分数从 0.34 提升至 0.57 — dl_weekly · 2026-11-17
- Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分 — jaseweston · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17
- Every 实测 Claude Fable 5.2:适合做交互游戏,但慢且费 token — every · 2026-11-17
- 作者分享两套免费 Wan2.1 ComfyUI 工作流:原生版与 Kijai 进阶版 — asdfghmfker · 2026-11-17