Gemma 加层后成功恢复训练
Desperate-Sir-5088 · reddit · 2026-07-12
作者更新了自己把 Gemma 模型“加层”后的第二次实验，目标是证明：即使对一个已经微调过的模型做较大改造，也不一定会把模型搞坏；它可以“恢复并学会新层”。
核心结论有三点：
- 新层不能一开始完全不做事。第一次失败就是因为把新层初始化成近似恒等映射，导致它们几乎拿不到学习信号。
- 插入位置很关键。他改成把新层放在更稳定的位置，而不是随便卡进原模型结构中。
- 不要乱动各层的缩放参数。第一次把这些“音量旋钮”平均化后，输出质量大幅恶化；这次保留原有设置后效果更好。
训练分两轮：先冻结原模型，只训练新层，让新层“站稳”；再解冻全模型一起微调，让整体协同收敛。作者强调，这次实验的目标不是超过原模型，而是验证“对已微调模型做大手术后仍能恢复”是可行的。
「研究」频道最新
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图，自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测：34 个开源模型跑 50 项任务，综合排名不够用 — elmanmansimov · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26