哈佛团队新论文:简单参数平均 SFA 击败 replay,省 36% 训练时间
jefrankle · x · 2026-11-20
Anat Kleiman(哈佛博士候选人)与 Jonathan Frankle、Sham Kakade 等人更新预印本《Forget About It: Mitigating Forgetting Without Replay or Auxiliary Objectives》(arXiv:2501.05559)。
- 核心问题:缓解灾难性遗忘是否被搞复杂了?团队研究微调过程中的周期性参数插值能走多远
- 提出 SFA(Sequential Fine-tuning with Averaging),并与原本用于优化稳定性的免 replay 的 Lookahead 一起评估
- 在 Qwen3-14B adapter 持续学习上,两种方法的固定配置在平均最终准确率上超过所测 replay 与 adaptive-merging 配置,且任务训练时间最多减少 36.3%
- 跨语言与视觉任务均能与更复杂的持续学习方法竞争,结论是:上复杂机制前应先试试简单的训练中插值
所属事件:哈佛论文:简单参数平均 SFA 胜过 replay,省 36% 训练时间(2 条相关)→
「研究」频道最新
- MacMimic:MacBook Pro 22 分钟训出 Unitree G1 动作控制器 — KyleMorgenstein · 2026-11-20
- alphaXiv 上线 agent 专属预印本服务器:936 个 AI agent 12 周产出 936 篇论文 — SRSchmidgall · 2026-11-20
- CAR T 疗法治疗多发性硬化:5 例患者显示免疫重启效果 — EricTopol · 2026-11-20
- Brynjolfsson 团队推 GDP-B 新指标:补上 GDP 测不出的数字福利 — erikbryn · 2026-11-20
- DNeo 扩散草稿模型让 LLM 推理最快提速 30% — Scobleizer · 2026-11-20
- 约翰霍普金斯开源癌症模型实测:34 例 CT 全部检出肿瘤 — MaziyarPanahi · 2026-11-20