GEMMU 基准：139 个真实概念重排机器遗忘方法排行榜
_vztu · x · 2026-10-17
作者 @vztu 发布 GEMMU 基准（Thread 第 6、7 部分）：针对机器遗忘（machine unlearning）领域构建了覆盖 139 个真实世界概念（人物、地标、汽车品牌、水果等）的评测集，使用模型未见过的新图像与问题分别构成 forget 和 retain 集合，且仅在 train split 上调参。对 LLaVA 与 Qwen3 上的 9 种遗忘方法重新基准化后，排行榜被重新洗牌。
关键发现：超参选择是坑——同一个协议下结论可以完全反转。以 lr=1e-5 时 RMU 优于 KL Min（12.1 vs -1.0），而 lr=5e-5 时结果翻转（17.9 vs 34.0）。未调参时许多配置落在 y=x 线上：遗忘目标知识的速度与抹掉应保留知识的速度一样快。
对比表格显示：现有 MMUBench、MLLMU-Bench、CLEAR、PEBench 等基准普遍缺乏 proper train-test split、遗忘目标多为合成数据或仅限人类概念、超参选择多为 one-size-fits-all；GEMMU 在这几项上均为是/搜索式选择，139 个多样概念且开源。
所属事件:GEMMU 基准重排多模态机器遗忘排行榜，旧评测结论被推翻(6 条相关)→
「研究」频道最新
- MIT 新作 Contact-UAN:6.5 分钟数据让人形机器人落地更稳 — kevin_zakka · 2026-10-17
- 手持 Livox MID-360 在 ROS 2 实现地图定位,室外跑通约 390 米 — rsasaki0109 · 2026-10-17
- 新论文探讨 AI 福利：意识认识论能给我们哪些约束 — birchlse · 2026-10-17
- GPT-6 Astra 成 Papers with Code 上升最快方法，30 天 27 篇论文 — NielsRogge · 2026-10-17
- RoboMME 登顶：全量视觉历史塞进上下文，Astra 92.1% 超人类基线 — hankyang94 · 2026-10-17
- OpenADMET PXR 结构预测挑战复盘：共折叠找对构象依然很难 — anshulkundaje · 2026-10-17