西工大团队 ROSE 框架登 NeurIPS Spotlight,解决多模态模型连续知识编辑遗忘难题

机器之心 · wechat · 2026-11-21

西北工业大学宋凌云、尚学群教授指导的团队提出多模态终身知识编辑框架 ROSE,入选 NeurIPS 2026 Spotlight,针对连续更新事实知识时的两大难题:灾难性遗忘(新编辑破坏旧编辑)与局部性退化(更新损害无关知识和预训练能力)。

方法上,ROSE 冻结主干、在 FFN 下投影矩阵加辅助分支写入新知识:编辑阶段将梯度投影到历史编辑子空间的正交补空间,避免新旧知识方向冲突,并用动态风险掩码限制参数更新范围以保护预训练能力;推理阶段通过视觉/文本语义原型做门控,只有相关输入才融合辅助分支表示,由粗到细选择性调用编辑知识。

在 VLKEB 上对 LLaVA-v1.5-7B 完成 1000 次连续编辑后,ROSE 可靠性仍达 95.24%(FT-L 降至 68.14%),文本泛化 92.74%、多模态泛化 84.53% 均超最强基线 LiveEdit,文本局部性 100%、多模态局部性 88.39%;单张 RTX 4090 上平均单次编辑约 1.31 秒。论文与代码已开源。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →