新论文曝多模态机器遗忘评测三大坑，旧基准结论被推翻
_vztu · x · 2026-10-17
arXiv 论文《Are We Really Measuring Forgetting?》（2610.19613，Texas A&M、台大、哥伦比亚大学）指出多模态大模型（MLLM）机器遗忘的现有评测存在三大陷阱，导致遗忘效果被高估：
- 缺少 heldout 评测，无法区分真正的概念级遗忘与实例级过拟合（很多基准直接在训练数据上测遗忘）
- 依赖微调注入的合成知识，而非预训练中获得的真实知识
- 对不同遗忘方法套用相同训练设置，造成不公平对比
团队据此发布 GEMMU 基准，基于真实世界知识与规范化评测协议。在 GEMMU 上重测代表性遗忘方法后发现存在显著泛化差距，推翻了此前多个基准的结论，并为未来基准设计提供指南。
所属事件:GEMMU 基准重排机器遗忘方法，旧结论被推翻(6 条相关)→
「研究」频道最新
- Claude 破解 25 年悬赏谜题,内部思维流疑心自己在测试环境 — rickasaurus · 2026-10-17
- 研究者感慨引用机制天然不对称：被引无上限，引文有上限 — arjunrajlab · 2026-10-17
- 超参一换结论反转：lr=1e-5 时 RMU 胜，lr=5e-5 时 KL Min 胜 — _vztu · 2026-10-17
- 微调注入的假知识一个 epoch 就崩，预训练真实知识消退慢得多 — _vztu · 2026-10-17
- HySparse 2 架构被称「DeepSeek 味」,SWA 成稀疏注意力标配 — eliebakouch · 2026-10-17
- IBM 等研究：SAE 训练数据需求被高估，特征复现仍需大规模 — Aikyam-Lab · 2026-10-17