GEMMU 基准重排多模态机器遗忘排行榜，旧基准结论被推翻
arXiv 论文《Are We Really Measuring Forgetting?》(编号 2610.19613，由 Texas A&M、台湾大学、哥伦比亚大学合作，作者包括 Oscar Chew、林轩田等)提出 GEMMU 基准，重新评测多模态大模型(MLLM)的机器遗忘方法，结论颠覆现有排行榜：表现最强的反而是 2022 年的 GADiff 与 2023 年的 SCRUB 等最老、最简单的方法，且没有任何方法完全达标。研究同时指出现有评测存在三大陷阱，导致遗忘效果被系统性高估。
已确认
- 作者 @vztu 以线程形式发布该研究：GEMMU 覆盖 139 个真实世界概念(人物、地标、汽车品牌、水果等)，遗忘集与保留集均使用模型未见过的新图像与新问题，且只在训练划分上调参。
- 在 LLaVA-1.5 与 Qwen3-VL 上重新评测 9 种遗忘方法后排行榜被重排：GADiff(2022)与 SCRUB(2023)名列前茅，而非近期新方法。
- 陷阱一：在训练集上测试——多数基准用遗忘时见过的原图打分，换成同品牌汽车的全新照片后，遗忘集准确率从约 4% 回升到约 16%。
- 陷阱二：假知识崩塌——常见基准通过微调注入伪造身份再要求遗忘，这类知识一个 epoch 内就大幅崩塌；而预训练得来的真实知识(人脸、地标)消退得慢得多，LLaVA-1.5 与 Qwen3-VL 上均如此。
- 陷阱三：超参一换结论反转——统一配置对比所有方法会得出相反结论：lr=1e-5 时 RMU 优于 KL Min(12.1 vs −1.0)，lr=5e-5 时反转(17.9 vs 34.0)，许多未调参配置结果落在 y=x 线上。
- 多模态遗忘本身比纯文本更难：密码是精确字符串，而东京塔这类视觉概念有无穷多角度、光照与风格呈现，相同数据与训练下图文输入的 train/test 差距远大于纯文本。
- 真实预训练知识的遗忘不可避免地损伤保留集，模型难以只遗忘目标内容。
为什么重要
- 机器遗忘是合规与隐私(如删除版权或个人信息)的关键技术，若评测本身失真，方法间比较与进展判断都不可靠。
- GEMMU 提供基于真实预训练知识、严格划分训练/测试的评测方案，为后续研究提供更可信标尺，也提醒社区警惕旧基准上的结论。
2026-10-17 ~ 2026-10-17 · 9 条相关
一手来源
- GEMMU 基准重排遗忘方法排行：最强反而是 2022/2023 老方法 — _vztu ·
- 超参一换结论反转：lr=1e-5 时 RMU 胜，lr=5e-5 时 KL Min 胜 — _vztu ·
- 微调注入的假知识一个 epoch 就崩，预训练真实知识消退慢得多 — _vztu ·
- 新论文曝多模态机器遗忘评测三大坑，旧基准结论被推翻 — _vztu · 2026-10-17
- 多模态机器遗忘三大评测陷阱：换张图遗忘率就从4%反弹到16% — _vztu · 2026-10-17
- 视觉概念为何比密码更难遗忘：同一训练下泛化鸿沟远大于纯文本 — _vztu · 2026-10-17
- 【源头】微调注入的假知识一个 epoch 就崩，预训练真实知识消退慢得多 — _vztu · 2026-10-17
- 机器遗忘研究：预训练知识遗忘必伤保留集，基准测试普遍失真 — _vztu · 2026-10-17
- 【源头】超参一换结论反转：lr=1e-5 时 RMU 胜，lr=5e-5 时 KL Min 胜 — _vztu · 2026-10-17
- 【源头】GEMMU 基准重排遗忘方法排行：最强反而是 2022/2023 老方法 — _vztu · 2026-10-17
- GEMMU 基准：139 个真实概念重排机器遗忘方法排行榜 — _vztu · 2026-10-17
- 多模态机器遗忘实测：最老方法最强，无一达标 — _vztu · 2026-10-17