统一框架:数据归因、灾难性遗忘与可塑性丧失同源于 token 交互
Yi Ren · hf · 2026-10-01
现代语言模型会终身持续更新而非一次训练即冻结,每一步更新都参与循环:决定学什么、理解更新改变了什么、并保持未来可学习性。论文提出这三者受同一"更新-行为交互"支配:
- 核心分解:推导了"学一个 token 如何改变另一个 token 的预测"的逐 token、逐层分解,分离 softmax 力、共享读出几何与残差连接,暴露两条交互通道,并给出前向可计算的近似
- 统一图景:正交互=有用经验;负交互产生集中碰撞或累积侵蚀;长期看,更新重塑共享读出几何,削弱未来学习信号的传递——从而把数据归因、遗忘、可塑性丧失统一为同一演化学习动力学的不同形态
- 应用:预测带来有效的数据选择方法、针对干扰机制的特定控制手段,以及基于读出的"未来可学习性"诊断——其退化可预测恢复读出带来的收益
结论在多个模型与训练 regime 下成立。
「研究」频道最新
- BMJ 发表《临床 AI 现状 2026》同行评审报告 — davidjhwu · 2026-10-01
- 芝加哥大学播客：脑机接口让瘫痪者用意念重获触觉 — plopesresearch · 2026-10-01
- CLM 作者回应 RLM 讨论：把上下文当变量，二者可结合成更强智能体 — RulinShao · 2026-10-01
- 微调 GliNER Decision 用约 3000 条样本在实体链接上追平大模型 — wjb_mattingly · 2026-10-01
- 斯坦福启用西海岸首台 OPM-MEG:毫秒毫米级脑成像可自由活动 — coryshain · 2026-10-01
- Chris Paxton:全身 RL 处理碰撞与突发状况优于 IK — chris_j_paxton · 2026-10-01