CurvDelta 论文:低曲率约束的模型更新,兼顾学习与遗忘
Zeguan Xiao · hf · 2026-11-19
上海财经大学、阿里、南科大等机构论文提出 CurvDelta 与 CurvLoRA:把「能力保持」约束直接做进模型更新的参数化里。
核心思路是分析预适应模型附近保持约束的局部几何,构造一个低曲率空间,使参数更新在该空间内几乎不改变保持损失;工程上用 Kronecker 分解近似曲率(K-FAC)和因子化投影实现,CurvLoRA 是同一几何下的低秩高效变体。
在数学推理、代码生成和知识遗忘(unlearning)任务上,两个方法在下游表现有竞争力的同时更好地保住通用能力,取得更优的「习得-保持」权衡。
「研究」频道最新
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19
- MIT研究:可读取并操控LLM内部的物理直觉,Gemma隐状态揭示因果方向 — ProfBuehlerMIT · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19
- Freenet 发布新视频:用传统机器学习做网络路由 — Sanity · 2026-11-19
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19