研究:仅置零 0.05% 权重即可媲美全参数微调
agentic-learning-ai-lab · hf · 2026-11-11
来自 NYU 与卡尔加里大学的论文提出 Deletion Tuning:在训练中只学习一个作用于 transformer 各块 gate projection 的二值掩码,将不到 0.05% 的预训练权重置零,无需其他改动即可在三种后训练范式(RLVR、SFT、on-policy 蒸馏)上达到与全参数微调(FFT)相当的效果。
要点:
- 掩码比 FFT checkpoint 小数百到数千倍,存储成本极低
- 遗忘显著更少:RL 场景下旧任务准确率保持在接近基线水平,而 FFT、LoRA、随机稀疏微调最多损失 5.4 分,缓解持续学习难题
- 作者用 stable rank、谱漂移、主权重重叠三个几何指标分析为何「只删权重」就够:Deletion Tuning 在三项指标上都最接近 FFT
所属事件:Deletion Tuning：置零 0.05% 权重媲美全量微调(3 条相关)→
「研究」频道最新
- Sakana AI 与 Pathway 对谈实录：后 Transformer 时代 AI 与大脑的关联 — kaixhin · 2026-11-11
- METR 回应质疑:AI 提速结论基于大量未公开数据 — peterwildeford · 2026-11-11
- RL 攻防双环境:训练 AI 植入后门与检测后门,收敛点成谜 — DimitrisPapail · 2026-11-11
- 开源 DiffusionEngine:模块化 PyTorch DDPM 框架招募贡献者 — Euphoric-Incident-93 · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 前 Astra 成员创业做 real2sim2real：机器人仿真光『看得真』不够 — abhishekunique7 · 2026-11-11