WHALE 论文:模型权重与 agent harness 交替优化,精度提升 4-24 个百分点
Kangwook_Lee · x · 2026-09-03
Kangwook Lee 等人发布 arXiv 论文 WHALE(Weight-Harness Alternating LEarning),提出联合优化 agent 的模型权重与可执行 harness 代码的简单配方:
- 动机:agent 性能同时取决于模型参数和管理上下文/控制流的 harness 代码,单独优化任一侧都会被冻结的另一侧卡住瓶颈——权重更新会改变哪种 harness 有效,harness 更新又会暴露不同的模型能力。
- 方法:交替两个阶段——在当前 harness 下更新模型(在线拒绝采样微调),再在更新后的模型下搜索更好的 harness(Meta-Harness);切换时机用固定时长或基于训练信号的自适应 patience 规则来区分真实提升与噪声。
- 结果:在 Qwen3.5-2B/4B 上跨三个领域(搜索问答、数学推理、国际象棋谜题),WHALE 比仅调权重、仅调 harness 及 Fast-Slow Training 在 best mean@8 accuracy 上高出 4.15-24.38 个百分点。任一组件都可能成为瓶颈:SearchQA 中 harness 搜索用更少 rollout 即可匹配仅调权重的峰值精度,但数学精度需先更新权重才能提升。
所属事件:WHALE 论文提出模型权重与 harness 交替优化新配方(7 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清:agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话,用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材:Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路:智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV:6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21