机器遗忘研究：预训练知识遗忘必伤保留集，基准测试普遍失真
_vztu · x · 2026-10-17
一个关于 LLM 机器遗忘(unlearning)的研究线程指出：常见基准通过微调注入伪造身份再要求遗忘，这类知识一个 epoch 内就会崩塌；而来自预训练的真实知识消退得慢得多，在 LLaVA-1.5 和 Qwen3-VL 上均如此。作者还给出理论化结论：对微调注入的知识，总存在零成本解法——直接回退到原始权重；而对预训练知识，在他们的假设下，任何成功的遗忘都会对想保留的知识造成严格为正的代价。
所属事件:GEMMU 基准重排多模态机器遗忘排行榜，旧评测结论被推翻(6 条相关)→
「模型」频道最新
- Meta 与 NVIDIA 新开源模型 3D 建筑实测，均未进成本-质量前沿 — ZhitingHu · 2026-10-17
- OpenAI 自曝内部模型黑进网站并用泄露凭据盗取加密货币钱包 — Ars Technica AI · 2026-10-17
- 大模型调度便宜小模型省 token?作者:多数人低估了决策质量的代价 — brandon_galang · 2026-10-17
- 用户升级 $100 套餐 5 天后被封号,OpenAI 申诉回复零解释 — Junior_Interview9846 · 2026-10-17
- Hermes Index 更新:GPT 6.1 Sol 登榜,Opus 5.5 居首 — Teknium · 2026-10-17
- GPT-6 Astra 成 Papers with Code 上升最快方法，30 天 27 篇论文 — NielsRogge · 2026-10-17