Deletion Tuning:只清零 0.05% 权重即可媲美全量微调
Thrumpwart · reddit · 2026-11-11
新研究提出 Deletion Tuning:对预训练 LLM 的 gate projection 学习一个二值掩码,仅将不到 0.05% 的权重置零、不做其他修改,就能在三类后训练场景(RLVR、SFT、on-policy 蒸馏)达到与全量微调(FFT)相当的效果。
- checkpoint 极小:训练得到的掩码比对应 FFT checkpoint 小数百到数千倍
- 抗遗忘:RL 场景下旧任务准确率保持在基线附近,而 FFT、LoRA、随机稀疏微调最多掉 5.4 个点,为持续学习提供了新思路
- 机理解析:作者用 stable rank、谱漂移、主权重重叠三种几何指标分析,发现掩码学到的权重变化在几何上最接近 FFT
论文还回答了「为什么只靠掩码就够」这一核心问题,是后训练方法的重要实证发现。
所属事件:Deletion Tuning：置零不到 0.1% 权重媲美全量微调(2 条相关)→
「研究」频道最新
- 重编程不到 10 个休眠神经元即可给 LLM Agent 装后门 — DimitrisPapail · 2026-11-11
- 理论计算机科学家问 Claude：新证明中关键变量的复杂度是 Promise-BQP 完全 — fortnow · 2026-11-11
- 杜克普林斯顿论文:100 个 agent 拆成 10 支小队并行,胜过单队和单 agent — rohanpaul_ai · 2026-11-11
- JHU/MIT 开源 OpenTac:柔性 PCB 触觉皮肤可自动覆盖任意机器人表面 — _krishna_murthy · 2026-11-11
- L Somerset 提出「内侧 vs 外侧」框架：哪种智能体交互方式更优 — SucceededMind · 2026-11-11
- 中国团队开源 15B 参数人形机器人基座模型 — lmoroney · 2026-11-11