西工大团队 ROSE 框架登 NeurIPS Spotlight,解决多模态模型连续知识编辑遗忘难题
机器之心 · wechat · 2026-11-21
西北工业大学宋凌云、尚学群教授指导的团队提出多模态终身知识编辑框架 ROSE,入选 NeurIPS 2026 Spotlight,针对连续更新事实知识时的两大难题:灾难性遗忘(新编辑破坏旧编辑)与局部性退化(更新损害无关知识和预训练能力)。
方法上,ROSE 冻结主干、在 FFN 下投影矩阵加辅助分支写入新知识:编辑阶段将梯度投影到历史编辑子空间的正交补空间,避免新旧知识方向冲突,并用动态风险掩码限制参数更新范围以保护预训练能力;推理阶段通过视觉/文本语义原型做门控,只有相关输入才融合辅助分支表示,由粗到细选择性调用编辑知识。
在 VLKEB 上对 LLaVA-v1.5-7B 完成 1000 次连续编辑后,ROSE 可靠性仍达 95.24%(FT-L 降至 68.14%),文本泛化 92.74%、多模态泛化 84.53% 均超最强基线 LiveEdit,文本局部性 100%、多模态局部性 88.39%;单张 RTX 4090 上平均单次编辑约 1.31 秒。论文与代码已开源。
「研究」频道最新
- 高露洁论文:LLM 角色扮演消费者达90%人类信度或颠覆调研业 — 2C_ornot2C · 2026-11-21
- 黎曼猜想证明获完整形式化验证,专家称是「非常人性」的数学 — Kyrannio · 2026-11-21
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21
- 让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58% — Junior_Reputation639 · 2026-11-21
- ERC 评审拒信曝光:评审员直言不信 LLM 自动形式化 — marc_lelarge · 2026-11-21
- 陶哲轩谈 AI 数学竞赛:摘走果实,留下一片荒地 — yacineMTB · 2026-11-21