SWA层KV头数差异很关键

loiccabannes · x · 2026-07-16

一个容易被忽略但可能很关键的实现细节：近期一些工作（如 Gemma 4、inkling、作者自己的 SDM）在 SWA 层使用的 KV heads 数量会高于全局层。

作者认为，这个设计选择可能直接决定模型是能否超过 GDN/mamba，还是表现反而更差。