Meta Self-Improving Memory:模型自发现记忆技能再练进权重
Meta AI 的 RAM 团队(作者含 Jason Weston、Weizhe Yuan 等)发布 Self-Improving Memory 方法,让持续学习 agent 自己发现更好的记忆技能并将其训练进模型权重。按 Jason Weston 的系列推文介绍,方法分两阶段:先 Discover(发现),再 Distill(蒸馏固化)。
已确认
- 智能体在每个子任务前执行 LOAD、之后执行 OFFLOAD,把学到的知识写入记忆文件,跨任务传递。
- 发现阶段由一个元智能体阅读运行轨迹,定位记忆使用失效之处,并重写 LOAD/OFFLOAD 逻辑;每个候选策略都要跑评测来筛选。
- 在 Continual Learning Bench 的三个任务上,harness 优化把测试分从 36.1 提升到 56.0,超过手写最佳提示词的 44.6。
- 这些收益可通过蒸馏固化进模型权重,蒸馏后再涨 5.5 分;Meta 概括为整体提升 11.4 分。
- Weston 在线程收尾处附上了博客全文。
为什么重要
- 该工作表明记忆策略无需人工设计,可由模型自身轨迹驱动的元优化自动获得,且收益能固化进权重而非仅停留在提示词层。
- 对需要长期、持续学习的 agent 而言,提供了一条可复用的自我改进路径,自动优化甚至超过人工精心设计的记忆方案。
2026-11-17 ~ 2026-11-17 · 6 条相关
一手来源
- Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston ·
- Jason Weston 团队让智能体自我优化记忆:测试分从 36.1 提到 56.0 — jaseweston ·
- Meta自改进记忆实测:自动优化提示词 56.0 分超手写最佳 44.6,蒸馏再涨 5.5 分 — jaseweston ·
- Meta发布Self-Improving Memory:模型自发现记忆技能并蒸馏进权重 — jaseweston · 2026-11-17
- 【源头】Meta 让模型自己发现记忆技能并练进权重,提升 11.4 分 — jaseweston · 2026-11-17
- Jason Weston详解自改进记忆:模型自己发现记忆技能再蒸馏进权重 — jaseweston · 2026-11-17
- 【源头】Jason Weston 团队让智能体自我优化记忆:测试分从 36.1 提到 56.0 — jaseweston · 2026-11-17
- Jason Weston 两招提升 agent:harness 优化 56.0 分,蒸馏再涨 5.5 分 — jaseweston · 2026-11-17
- 【源头】Meta自改进记忆实测:自动优化提示词 56.0 分超手写最佳 44.6,蒸馏再涨 5.5 分 — jaseweston · 2026-11-17