开发者实测改写 Gemma E4B 层：attention sink 让模型手术变难

teortaxesTex · x · 2026-11-06

转发 @YichengXiaAI 的实验分享：作者尝试重接部分 Gemma E4B 层，由于谨慎选择了层，模型未出现异常行为。他判断从现有模型重训一个小模型并不难，但对下游任务的增益可能有限。

关键发现是第 i 层的 KV "attention sink" 行为诡异——某些层上注意力权重过度集中，使全模型层面的「手术」改造变得困难。这为想修改开源模型内部结构的研究者提供了实操层面的经验参考。