Base Labs研究:模型迭代学习新事实,旧知识为何被覆盖遗忘

baseten · x · 2026-10-13

Base Labs 团队发布新一期周报 Rollout，研究「模型为何会忘记通过迭代学习获得的事实」。该工作是其 NeurIPS workshop 投稿的扩展，实验基于 talkie——一个仅用 1931 年前文本训练的 13B 模型(Levine et al., 2026)。

配图实验显示：向模型依次写入 20 个新事实后，早期写入的事实(如 Kvitová)在新事实(如 Andreescu)写入时被覆盖丢失；单独写入某事实后召回率接近 100%，但全部 20 条写入后整体召回率大幅下滑；写入位置越靠中间(6–10、11–15)，全部写完后被遗忘越严重，而最早和最晚位置保留较好。