超参一换结论反转:lr=1e-5 时 RMU 胜,lr=5e-5 时 KL Min 胜
_vztu · x · 2026-10-17
机器遗忘线程第 6 条(陷阱三):用统一配置对比所有遗忘方法会得出相反结论——lr=1e-5 时 RMU 优于 KL Min(12.1 vs −1.0),lr=5e-5 时反转(17.9 vs 34.0)。未调参的许多配置落在 y=x 线上:清除保留知识的速度和清除目标知识一样快。作者还从理论上形式化:微调知识存在零成本修复(回滚原始权重),而预训练知识在任何成功遗忘下都对保留知识有严格为正的代价。
所属事件:GEMMU 基准重排多模态机器遗忘排行榜,旧评测结论被推翻(9 条相关)→
「研究」频道最新
- 新研究:稀疏自编码器特征仅部分可组合,需交互项才能准确预测 — OpenSAE · 2026-10-17
- MIT 新作 Contact-UAN:6.5 分钟数据让人形机器人落地更稳 — kevin_zakka · 2026-10-17
- 手持 Livox MID-360 在 ROS 2 实现地图定位,室外跑通约 390 米 — rsasaki0109 · 2026-10-17
- 新论文探讨 AI 福利:意识认识论能给我们哪些约束 — birchlse · 2026-10-17
- GPT-6 Astra 成 Papers with Code 上升最快方法,30 天 27 篇论文 — NielsRogge · 2026-10-17
- RoboMME 登顶:全量视觉历史塞进上下文,Astra 92.1% 超人类基线 — hankyang94 · 2026-10-17