NYU 论文：删除不到 0.05% 权重即可匹敌全量微调

burny_tech · x · 2026-11-13

NYU 与卡尔加里大学团队提出 Deletion Tuning：不改任何权重数值，只学习一个二值掩码来决定关掉 transformer 块 gate projection 中哪些权重（不到预训练总权重的 0.05%），就能让模型习得新能力。

关键结果：

• 在 RLVR、SFT、on-policy 蒸馏三种后训练范式下，均与全量微调（FFT）持平；30B 模型上 58.54% vs FFT 的 58.43%，而适配器小约 4000 倍
• 遗忘远少于常规方法：RL 场景下旧任务准确率接近基线，而 FFT/LoRA/随机稀疏微调最多损失 5.4 个点
• 作者用 stable rank、谱漂移、主权重重叠等几何分析解释为何仅靠屏蔽就够

这为持续学习和轻量后训练提供了新思路：与其学习新权重，不如学习该关掉哪些旧连接。

原文链接 →

「研究」频道最新

• 斯坦福提出 SSD 蒸馏法：训练 token 省 38-69% 且遗忘更少 — khademinori · 2026-11-13
• EEPO 用「采样后遗忘」干预破解 RLVR 训练中的多样性坍缩 — burkov · 2026-11-13
• FINGR 灵巧手用连续手指技巧拧开二阶魔方,获 CoRL 工作坊最佳论文 — Scobleizer · 2026-11-13
• STOC 2027 全部 1665 篇投稿公开，AI 已把 1496 篇定理译成 Lean 4 — ChenhaoTan · 2026-11-13
• AI Agent 经验困在权重里,团队发布两项工作让经验可传承 — khademinori · 2026-11-13
• 计算化学平台 Rowan 推出游戏化「优化入门」闯关游戏 — CatAstro_Piyush · 2026-11-13

更多「研究」频道 AI 资讯 →