CMU 提出记忆写入 RL 配方:Qwen3.5-4B 持续学习比肩 GPT-5.4
aviral_kumar2 · x · 2026-11-13
卡内基梅隆大学 Aviral Kumar 团队发布新技术博文《How to Train Memory Writing for Continual Learning》,研究如何让 agent 在部署阶段从经验中持续改进。
核心思路:
- 针对编码 agent、自动化科学家等处理同环境相关任务流的场景,用强化学习训练单个模型交替执行 ACT(解任务)和 WRITE(写记忆),目标是写出让后续任务更容易的记忆,最大化任务流上的累计收益。
- 区别于常见做法:不是简单靠 prompt 让 LLM「压缩/总结」经验(如往 MEMORY.md 追加摘要),而是显式训练记忆写入行为。
结果:
- 在 Continual Learning Bench 上,经训练的 Qwen3.5-4B 整体表现可比 GPT-5.4 与 Claude Opus 4.7,且从过往经验中获得的「持续学习增益」超过这些前沿模型,也超过 Claude Code 与 Codex。
- 配图显示其累计奖励约 10.5、学习增益约 2.2,高于 Claude Opus 4.7、GPT-5.4、Gemini 3 Flash 及 Codex 等对比系统,而未训练基线增益接近 0。
「编程与Agent」频道最新
- 在 UE5 里用 AI 搭出 4000 栋楼的岛城,MacBook 跑到风扇狂转 — chrisfirst · 2026-11-13
- UE 5.9 内置 AI 助手从空白地图自动建城,布局可随时重建 — chrisfirst · 2026-11-13
- AI 写台词、ElevenLabs 配音,给游戏造一位毒舌女导演 — chrisfirst · 2026-11-13
- Profound 联创 CTO 播客:两周变两小时,谈 Fractal Speed 与创业无护城河 — soleio · 2026-11-13
- 开源权重模型仅占 T3 Code 流量 0.5%，但这是客户数据而非市场数据 — Arindam_1729 · 2026-11-13
- 持续学习 AI 系统的 7 大工程挑战：部署后仍要不断进化 — goyalshaliniuk · 2026-11-13