超参一换结论反转:lr=1e-5 时 RMU 胜,lr=5e-5 时 KL Min 胜

_vztu · x · 2026-10-17

机器遗忘线程第 6 条(陷阱三):用统一配置对比所有遗忘方法会得出相反结论——lr=1e-5 时 RMU 优于 KL Min(12.1 vs −1.0),lr=5e-5 时反转(17.9 vs 34.0)。未调参的许多配置落在 y=x 线上:清除保留知识的速度和清除目标知识一样快。作者还从理论上形式化:微调知识存在零成本修复(回滚原始权重),而预训练知识在任何成功遗忘下都对保留知识有严格为正的代价。

所属事件:GEMMU 基准重排多模态机器遗忘排行榜,旧评测结论被推翻(9 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →