Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分

jaseweston · x · 2026-11-17

Jason Weston 在推文中给出两条提升 agent 表现的实验结果:

1. Harness 优化(发现):让一个 meta agent 读取轨迹,找出记忆使用失效的位置,并重写 LOAD/OFFLOAD 逻辑;每个候选跑 5 次,最优者成为下一轮父代。平均测试分数:优化后 56.0,最佳手写 harness 44.6,通用 harness 36.1。

2. Harness 蒸馏(演示 + 蒸馏):先用优化后的 prompt 跑模型,再把 prompt 换回通用版本但保留模型当时的回答,然后做 LoRA 微调。测试时用通用 prompt:蒸馏后 43.1,而直接在自身通用运行上做 SFT 为 37.6。

核心思路是把「好 harness 带来的行为」沉淀进模型权重,从而在推理时用普通 prompt 也能拿到更高分。

所属事件:Weston 演示记忆自优化两步法,harness 提分再加蒸馏再涨 5.5 分(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →