多模态机器遗忘三大评测陷阱：换张图遗忘率就从4%反弹到16%
_vztu · x · 2026-10-17
一项关于多模态大模型（MLLM）机器遗忘的研究指出，现有评测存在三大陷阱，使遗忘效果被高估：
- 陷阱一：在训练集上测试。多数基准用遗忘时用过的原图打分；换成同品牌汽车的全新照片后，遗忘集准确率从约 4% 回升到约 16%——模型只是忘掉了具体样本，概念并未被删除。
- 陷阱二：合成微调目标。多数基准先微调注入假身份再遗忘，这类知识一个 epoch 内就崩塌；而预训练得来的真实知识在 LLaVA-1.5 和 Qwen3-VL 上消退慢得多。
- 陷阱三：所有方法共用一套超参。lr=1e-5 时 RMU 优于 KL Min（12.1 vs −1.0），lr=5e-5 时结论反转（17.9 vs 34.0）；未调参的配置往往
所属事件:GEMMU 基准重排多模态机器遗忘排行榜，旧基准结论被推翻(9 条相关)→
「研究」频道最新
- Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音 — StasBekman · 2026-10-17
- S4VY 发布：任意 RGB 观测实现 4D 一致性物体分割 — realChrisChoy · 2026-10-17
- TF-MoDISco 优化版合并：提速 5-15 倍、内存省 2-3 倍 — anshulkundaje · 2026-10-17
- Apple 推出 RSI-Inference Bench：AI agent 能否自己优化推理系统 — SumitGup · 2026-10-17
- 中本聪当年弃用 NIST 种子是对是错？Claude 破解 P256 后再讨论 — StefanoGogioso · 2026-10-17
- TMS 论文被低估：多义性藏于弱激活的洞见仍被忽视 — livgorton · 2026-10-17