STABLE 优化器入选 NeurIPS 2026,从优化器层面遏制持续学习遗忘
v_lomonaco · x · 2026-11-11
一篇关于持续学习的新论文 STABLE: A Continual Learning Optimizer with Adaptive Drift Control 被 NeurIPS 2026 接收，作者来自比萨大学、意大利 CNR 与 LUISS，代码已开源。
- 核心观点：灾难性遗忘源于不稳定的学习动态，可以在优化器层面解决，而不依赖 replay buffer、架构改动或额外正则项。
- 理论保证：证明了在局部 score-stability 条件下，对基于距离的分类器，有界的参数漂移可保证有界的 margin 侵蚀。
- 方法：STABLE 是一个原始-对偶优化器，通过自适应漂移控制强制执行漂移预算——预算被违反时增大对偶变量，否则减小，实现高稳定性而不牺牲可塑性。
- 实验：在长时程单模态任务流和基于 CLIP 的多模态任务流上，仅用 STABLE 训练的 vanilla PEFT 基线即可匹敌或超过专门设计的持续学习方法，且保留 zero-shot 迁移能力。
「研究」频道最新
- 数学家自省 AI 危机：证明几小时出炉却无人能验证真伪 — ValerioCapraro · 2026-11-11
- EM 算法提速组合拳:EMA、余弦调度、自定义死簇复活全用上 — chrisemoody · 2026-11-11
- 可训练望远镜模型助力 Nature 论文：灵敏度提升 2–15 倍发现系外行星 — bravo_abad · 2026-11-11
- Ben Todd 发图:任务时长外推曲线或于 12 个月内抵达奇点 — ben_j_todd · 2026-11-11
- Eva Jablonka 提出心像缺失与语言演化关系的新概念框架 — AnnaCiaunica · 2026-11-11
- BioAgent-DF 论文：硬件静默数值故障可悄悄改变科研 Agent 决策 — INTOSYN-AI-Labs · 2026-11-11