强化学习学者重提「预计算与复用」：为何学过的东西总要推倒重来

furongh · x · 2026-10-23

研究者 furongh 回顾了 ICLR 2023 在卢旺达基加利参加 Reincarnating Reinforcement Learning workshop 的经历：凌晨 4 点赶出演讲幻灯片，讲了「在不断变化的世界中可复用的强化学习」。\n\n他反复回到的核心观点是：Precompute and reuse(先算好，再复用)——既然已经花了大量算力学到了有用的东西，为什么每次都要从头开始？他认为这在今天几乎是基础模型的共识之一。\n\n他引用的推文介绍了 Meta²:一种面向递归自我改进(RSI)的方案，在运行前离线学习「如何演化、何时演化」的指导策略，并在每次运行中动态应用，解决 agent harness 在运行前被冻结、无法根据新证据在线调整的问题。