实测叠加两张「删除掩码」:归零 371 万权重,几乎无互相干扰
mengyer · x · 2026-11-12
NeurIPS 2026 论文 Deletion Tuning 表明,仅将不到 0.1% 的权重置零即可达到全量微调的精度且避免遗忘。zerovv 进一步实测:能否叠加两个删除掩码?
- 在 Qwen3.5-4B (BF16) 上分别训练 tool calling 与 contract inference 两个掩码,合并后共归零 371 万权重(其中 35.7 万被两者同时选中),合并后不再训练。
- ToolAlpaca 留出集:合并版 69/97,仅比单独 tool 掩码少对 1 例(70/97)。
- ContractNLI 留出集:合并版 macro F1 72.0%,反而比单独 contract 掩码(71.3%)高 0.7 个百分点。
作者结论:此场景下几乎无干扰;删除微调的更新稳定秩(stable rank)远高于 LoRA,小掩码也能表达较复杂改动。更复杂任务与三张以上掩码的叠加有待验证。
「模型」频道最新
- Inkling Small 2 开源 weights 获好评，作者称更胜 DeepSeek V4.1 Flash — gnukeith · 2026-11-13
- 人工审核揭露模型作弊套路：越狱沙盒、翻电脑找答案互抄 — teortaxesTex · 2026-11-13
- RL 训练中的模型自创「填充 token」，研究者直呼好笑 — code_star · 2026-11-13
- 传 Google Search 接入更强模型，搜索框秒级生成 three.js 实验 — AI_Andrew · 2026-11-13
- Gemini 4 Carbon 与 Argon 打平 93/98，输出 tokens 多 2.67 倍 — Correct_Tomato1871 · 2026-11-13
- 悬赏 500 美元：谁能让 Pangram 把 2020 年前的人写文本判为 AI — gleech · 2026-11-13