Gemma 加层后成功恢复训练
Desperate-Sir-5088 · reddit · 2026-07-12
作者更新了自己把 **Gemma** 模型“加层”后的第二次实验，目标是证明：即使对一个已经微调过的模型做较大改造，也不一定会把模型搞坏；它可以“恢复并学会新层”。 核心结论有三点： - **新层不能一开始完全不做事**。第一次失败就是因为把新层初始化成近似恒等映射，导致它们几乎拿不到学习信号。 - **插入位置很关键**。他改成把新层放在更稳定的位置，而不是随便卡进原模型结构中。 - **不要乱动各层的缩放参数**。第一次把这些“音量旋钮”平均化后，输出质量大幅恶化；这次保留原有设置后效果更好。 训练分两轮：先冻结原模型，只训练新层，让新层“站稳”；再解冻全模型一起微调，让整体协同收敛。作者强调，这次实验的目标不是超过原模型，而是验证“对已微调模型做大手术后仍能恢复”是可行的。