Kimi K3.1 开源权重放出,用 Gated DSA 替换 MLA 长上下文层

teortaxesTex · x · 2026-11-04

teortaxesTex 发帖称 Kimi K3.1 权重已放出,并附上技术说明截图:相比 Kimi K3,K3.1 将全注意力的 Gated MLA 层替换为 Gated DeepSeek Sparse Attention(Gated DSA)层,以实现更高效的长上下文建模。

他此前曾预测 Moonshot 会走这条路(用 DSA + IndexCache 替换 MLA,以做出对标 DeepSeek v4.1 Flash 价格的日常快模型),如今预言成真,并认为这对国内开源生态是又一次利好。评测部分注明 K3.1 Pro 结果默认使用 reasoning effort max、temperature=1.0、top-p=0.95。

所属事件:月之暗面开源 Kimi K3.1 Pro:2.8T 参数、百万上下文(22 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →