有线程认为，持续学习更该优化上下文里的信息装载

JoshPurtell · x · 2026-07-22

被引用的线程认为，continual learning 也许不该再理解为持续重训模型，而应该更多地看成：把正确的信息装进 ICL（上下文学习）里。

核心结论是，许多训练工作其实都在为更好的 ICL 机制服务；而额外训练可能反而削弱知识获取能力。作者因此提出，至少在当前阶段，记忆工程应优先优化“带地址”的通道——也就是上下文窗口，而不是继续堆训练。帖子还指向了一篇论文，代码和数据也会随后放出。