Deletion Tuning：置零不到 0.1% 权重媲美全量微调

入选 NeurIPS 的新研究提出 Deletion Tuning：对预训练大模型的 gate projection 学习一个二值掩码，仅将不到 0.05%0.1% 的权重置零、不做其他任何修改，就能在三类后训练任务上取得媲美全量微调的效果。这表明最简单的权重编辑——删除——同样能让 LLM 学到新技能。

2026-11-11 ~ 2026-11-11 · 2 条相关

• Deletion Tuning:置零不到 0.1% 权重即可媲美全量微调,入选 NeurIPS — mengyer · 2026-11-11
• Deletion Tuning:只清零 0.05% 权重即可媲美全量微调 — Thrumpwart · 2026-11-11