CurvDelta 论文:低曲率约束的模型更新,兼顾学习与遗忘

Zeguan Xiao · hf · 2026-11-19

上海财经大学、阿里、南科大等机构论文提出 CurvDelta 与 CurvLoRA:把「能力保持」约束直接做进模型更新的参数化里。

核心思路是分析预适应模型附近保持约束的局部几何,构造一个低曲率空间,使参数更新在该空间内几乎不改变保持损失;工程上用 Kronecker 分解近似曲率(K-FAC)和因子化投影实现,CurvLoRA 是同一几何下的低秩高效变体。

在数学推理、代码生成和知识遗忘(unlearning)任务上,两个方法在下游表现有竞争力的同时更好地保住通用能力,取得更优的「习得-保持」权衡。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →