业内观点:SWA 才是前沿秘方,DeepSeek 与 Kimi 偏走独立自研路线

burny_tech · x · 2026-10-17

X 用户 teortaxesTex 提出架构判断:滑动窗口注意力(SWA)才是真正的「前沿秘方」——从美国前沿及准前沿公司分拆出来的初创(如 Mistral)普遍采用 SWA。而 DeepSeek 与 Kimi 选择了艰难的独立自研路线:MHA→MLA→NSA→DSA(直到 V4/V4.1 的形态),Kimi 则有 MoBA 与 Kimi-Linear。burnytech 以「thonk」表情转发,暗示该说法耐人寻味。这条对比勾勒出前沿实验室与中美头部开源阵营在注意力架构上的路线分歧。