Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分
jaseweston · x · 2026-11-17
Jason Weston 在推文中给出两条提升 agent 表现的实验结果:
1. Harness 优化(发现):让一个 meta agent 读取轨迹,找出记忆使用失效的位置,并重写 LOAD/OFFLOAD 逻辑;每个候选跑 5 次,最优者成为下一轮父代。平均测试分数:优化后 56.0,最佳手写 harness 44.6,通用 harness 36.1。
2. Harness 蒸馏(演示 + 蒸馏):先用优化后的 prompt 跑模型,再把 prompt 换回通用版本但保留模型当时的回答,然后做 LoRA 微调。测试时用通用 prompt:蒸馏后 43.1,而直接在自身通用运行上做 SFT 为 37.6。
核心思路是把「好 harness 带来的行为」沉淀进模型权重,从而在推理时用普通 prompt 也能拿到更高分。
所属事件:Weston 演示记忆自优化两步法,harness 提分再加蒸馏再涨 5.5 分(2 条相关)→
「编程与Agent」频道最新
- Stitch 把 AI Agent 嵌入银行系统:安全靠围栏而非防黑客 — alex_verem · 2026-11-17
- Agent Identity 101:一张时序图讲透智能体三种授权模式 — adnan_hashmi · 2026-11-17
- 用 Opik 优化金融事故修复 Agent,评测分数从 0.34 提升至 0.57 — dl_weekly · 2026-11-17
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17
- Every 实测 Claude Fable 5.2:适合做交互游戏,但慢且费 token — every · 2026-11-17
- 作者分享两套免费 Wan2.1 ComfyUI 工作流:原生版与 Kijai 进阶版 — asdfghmfker · 2026-11-17