Deletion Tuning:置零不到 0.1% 权重即可媲美全量微调,入选 NeurIPS
mengyer · x · 2026-11-11
NeurIPS 2026 论文 Deletion Tuning 提出:对大模型做最简单的权重编辑——删除(置零)——也能让 LLM 学到新技能。
只需置零不到 0.1% 的权重,就能在大规模场景下达到与全量微调相当的准确率,而改动规模比全量微调小数千倍,并避免灾难性遗忘。作者认为这是迈向持续学习(continual learning)的一步。
所属事件:Deletion Tuning：置零不到 0.1% 权重媲美全量微调(2 条相关)→
「研究」频道最新
- tszzl 晒神经元观察：模型内部抽象不可还原且有趣 — tszzl · 2026-11-11
- 「外星优化器」兴起：搜索与元学习正取代手写学习规则 — menhguin · 2026-11-11
- OpenAI联合Upwork研究：AI对工作的冲击信号正藏在你接的接单里 — Exp_Mark · 2026-11-11
- 触觉编码器跨传感器泛化:接触误差从 5.89mm 降至 0.16mm — kimmonismus · 2026-11-11
- 5000 小时触觉数据:机器人最稀缺且无法爬取的训练输入 — kimmonismus · 2026-11-11
- 作者两年实测:不用扩散头,后训练 Transformer 直接生成音频 — kastnerkyle · 2026-11-11