CMU 新研究：用 RL 训练 LLM 写记忆，兼顾当前任务与持续学习
aviral_kumar2 · x · 2026-11-13
CMU(AIRelab,作者 Qixin Xu、Yuxiao Qu、Ian Wu、Aviral Kumar)发布新研究《How to Train Memory Writing for Continual Learning》,研究如何训练 LLM 在任务流中边执行边把经验写成「记忆」，让后续任务更容易解决，从而优化整体累计表现(一种部署时的持续学习)。
- 设定:模型在相关任务序列上交替执行 ACT(解题)与 WRITE(写记忆)两步，用单个模型 + 强化学习同时训练这两种能力。
- 动机：现有做法(如 coding agent 的 MEMORY.md、prompt 让 LLM 总结压缩经验)依赖提示指令，难以可靠捕获对未来任务真正有用的信息。
- 作者提示结论「比想象中更微妙」(nuanced),即在记忆写作训练上存在值得注意的权衡。
所属事件:CMU 用 RL 训练 LLM 写记忆，小模型持续学习比肩 GPT-5.4(2 条相关)→
「编程与Agent」频道最新
- LangChain 融 3 亿美元，估值 30 亿，7000 家公司用 LangSmith — LangChain · 2026-11-14
- 团队发布迄今最大规模智能体系统评测：把 AI 当聪明的工具使用者 — animesh_garg · 2026-11-14
- Perplexity 用 Agent 编排 48 沙箱并行渲染，3 小时做出帕特农神庙视频 — AravSrinivas · 2026-11-14
- Meta 上架 Edits Desktop：SAM 抠像追踪，还带 MCP 可接 AI Agent — nikhilaravi · 2026-11-14
- Claude Code 前产品负责人 Cat Wu：10 个高质量 eval 胜过上百个 — aakashgupta · 2026-11-13
- TRL v1.18.0 正式稳定 AsyncGRPOTrainer：生成与训练分离 GPU 并行 — SergioPaniego · 2026-11-13