Deletion Tuning:只决定删哪些权重即可让模型学会新任务
burkov · x · 2026-11-12
常规 post-training 通过改动大量权重注入新能力,但会带来庞大的 checkpoint、切换成本,并可能损害既有能力。文章测试了一种更受限的替代方案:让模型只通过「把哪些现有权重置零」来学习新任务,所有保留权重完全不变。
- 方法:Deletion Tuning 训练一个二值 keep-or-delete 掩码,作用于每个 transformer block 的一个投影层
- 对比基线:全量微调及其他适配方法,覆盖 RLVR、SFT、on-policy distillation 三种设定
- 规模:两个模型家族、0.5B 到 30B 参数的模型
意义在于降低任务专用模型的存储与切换成本,并缓解模型反复适配时的能力退化。
所属事件:Deletion Tuning：置零不到 0.1% 权重即可媲美全量微调(4 条相关)→
「研究」频道最新
- GRPO 论文：算力对齐后密集奖励反而不如稀疏奖励 — burny_tech · 2026-11-12
- Wayve 发布端到端学习的驾驶安全包络 LSE — alexgkendall · 2026-11-12
- HipKittens 一周年:团队持续攻坚 AMD GPU 软件生态破 CUDA 护城河 — simran_s_arora · 2026-11-12
- 世界模型团队争抢带操作标签的游戏数据：动作才是稀缺的那一半 — KnowledgeOk7634 · 2026-11-12
- Uno 用离散扩散让 LLM 推理提速至 3 倍,作者将开线上讲座 — burny_tech · 2026-11-12
- Pro-0 触觉手套零机器人数据训练灵巧手策略，亮相 CoRL — chris_j_paxton · 2026-11-12