ICLR 论文：只微调部分层的「外科手术式微调」更抗分布偏移
alexbilz · x · 2026-10-31
alexbilz 分享了 ICLR 2023 论文《Surgical Fine-Tuning Improves Adaptation to Distribution Shifts》的官方代码库。
论文核心发现：在分布偏移下做迁移学习时，选择性微调部分层（surgical fine-tuning）效果不输甚至优于微调最后几层或全部层。且调哪些层取决于偏移类型——例如图像腐蚀类偏移只微调前几层效果最好。作者在 7 个真实数据任务、3 类偏移上系统验证，并从理论上证明两层网络中只调第一层可以胜过全量微调。直觉解释：小目标数据集上调太多参数会遗忘预训练信息。
代码库提供 CIFAR-C / ImageNet-C 上的示例实现，接入现有代码库只需优化指定层参数。
「研究」频道最新
- 作者复盘旧作:Transformer 为何难做零样本递归,RNN 式内部状态之困 — akbirthko · 2026-10-31
- AI 助攻理论证明：Thompson 采样首个高概率遗憾界论文诞生记 — QuanquanGu · 2026-10-31
- 心理语言学教材《Speaking》免费开放,还可配 AI 导师阅读 — burkov · 2026-10-31
- Neuron Lens:逐个解读 Qwen3-8B 与 Gemma 4 12B 全部神经元和注意力头 — CatAstro_Piyush · 2026-10-31
- 一行 torch.index_add_ 即可指纹识别具体 GPU，重启也无法伪造 — CatAstro_Piyush · 2026-10-31
- 基因序列模型需 500bp jitter 才能消除中心位置偏差 — anshulkundaje · 2026-10-31