NYU 论文：语言模型可自选回放任务，主动防止自身能力遗忘
newyorkuniversity · hf · 2026-10-12
纽约大学发布论文《Self-Preservation in Language Models》，研究持续学习中的遗忘问题：用于保持能力的任务只覆盖模型所知的一部分，而遗忘可能超出这个范围。作者将任务描述与示例组织成 Task Bank，由冻结模型生成回放数据，并用不同规模的 Qwen 模型做持续指令微调实验，得到三点发现：
- 新任务和学习率决定哪些既有能力退化，追踪「此前答对的问题」能揭示平均准确率掩盖的损失；
- 生成式回放可减少 Task Bank 之外任务的遗忘，组合多个部分 Task Bank 的保护效果优于任一单独 bank；
- 模型还能参与选择回放目标——在新任务信息辅助下选择回放任务，4B 模型的 held-out 保持率优于随机选择，且新任务学习不受损；但在固定示例预算下，用回放替换新任务示例会以更小的新任务收益换取更好的保持效果。
结论：模型可以通过生成回放数据（某些场景下还能自选回放目标）来支持更广范围的自我保持。
「研究」频道最新
- NYU 提出鲁棒 MoE 训练 DRMoET,10.3B 模型七任务均值升至 0.6767 — newyorkuniversity · 2026-10-12
- 研究追踪 Massive Activation 生命周期:weight decay 主导其兴衰 — Aimpoint-Digital · 2026-10-12
- SAGE 无监督发现图像显著因子,FFHQ 眼镜探针准确率达 0.950 — Shuang Liang · 2026-10-12
- NVIDIA 提出 ELR:单 checkpoint 循环推理,4 圈提升 7.25 分无单圈税 — nvidia · 2026-10-12
- U-Space：单次前向、免训练的 LLM 不确定性估计新方法 — AdRevolutionary3242 · 2026-10-12
- DeCoPrune 免训练剪枝：少 85% 记忆 token，视频续生成提速 4.14 倍 — XingangP · 2026-10-12