LLM 持续学习与“睡眠”记忆巩固
max_paperclips · x · 2026-07-16
这条转发讨论了“持续学习并非做不到”，核心是闭源实验室的商业模式与本地、个性化、开源模型的方向并不一致。 引用段落提到一篇题为 **LLMs Need Sleep and Dreaming!** 的工作：作者提出让模型经历一个“睡眠/做梦”阶段，把脆弱的短期记忆巩固成更稳定的长期记忆，并通过一种新的蒸馏形式 **Knowledge Seeding (KS)** 进行知识巩固。实验显示，这一阶段能提升持续学习和推理任务表现，并在一定程度上缓解灾难性遗忘。