Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分
jaseweston · x · 2026-11-17
Meta AI(RAM 团队,作者含 Jason Weston、Weizhe Yuan 等)发布 Self-Improving Memory 方法,让模型自己发现更好的记忆技能并训练进权重,面向持续学习 agent。
两阶段流程
- Harness Optimization(发现):一个 meta agent 阅读任务 agent 的轨迹,找出记忆使用(LOAD/OFFLOAD 提示词)的短板并重写,评估后保留最优候选继续迭代。三个 Continual Learning Bench 任务上,优化后提示词平均 56.0,超过最好的人手写版本 44.6 和通用版 36.1(平均提升 11.4 分,Codebase 任务提升达 20.6)。
- Harness Distillation(演示+蒸馏):用优化提示词跑 agent,记录回答后把提示词换回通用版,再做 LoRA 微调——相当于把提示词教的部分技能练进权重。之后仅用通用提示词即可得 43.1,高于用通用轨迹做 SFT 的 37.6。
有趣的是,meta agent 与任务 agent 是同一个模型(Kimi-K2.6),即模型学的是它自己发现的记忆技能。
所属事件:Meta 发布自改进记忆:模型自发现记忆技能并蒸馏进权重,提分 11.4(4 条相关)→
「编程与Agent」频道最新
- 用 Opik 优化金融事故修复 Agent,评测分数从 0.34 提升至 0.57 — dl_weekly · 2026-11-17
- Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分 — jaseweston · 2026-11-17
- Every 实测 Claude Fable 5.2:适合做交互游戏,但慢且费 token — every · 2026-11-17
- 作者分享两套免费 Wan2.1 ComfyUI 工作流:原生版与 Kijai 进阶版 — asdfghmfker · 2026-11-17
- 别删语气词:保留犹豫填充词反而让模型一次出活 — brandon_galang · 2026-11-17
- Will Brown 长文:解 SFT、RL 与 on-policy 蒸馏的适用边界 — heghbalz · 2026-11-17