SWA层KV头数差异很关键

loiccabannes · x · 2026-07-16

一个容易被忽略但可能很关键的实现细节：近期一些工作（如 Gemma 4、inkling、作者自己的 SDM）在 **SWA 层** 使用的 **KV heads 数量** 会高于全局层。作者认为，这个设计选择可能直接决定模型是能否超过 GDN/mamba，还是表现反而更差。