Moonshot 开源 Kimi K3.1 Pro:2.8T 参数、1M 上下文、可微调

MaziyarPanahi · x · 2026-11-05

Moonshot AI 在 Hugging Face 上发布开源权重模型 Kimi K3.1 Pro,由 Kimi K3 经大规模跨领域联合 RL 后训练而来,定位原生多模态 agentic 模型。架构为 MoE,总参数 2.8T、激活 104B,93 层,96 头注意力,上下文窗口 1M token;相比 K3 将部分 Gated MLA 层替换为 Gated DeepSeek Sparse Attention(Gated DSA)以提升长上下文效率,激活函数为 SiTU-GLU,视觉编码器 MoonViT-V2(401M),训练采用 MXFP4 权重/MXFP8 激活的量化感知训练。官方称在编码、3D 创作、金融研究、事实准确性等 agentic 能力上有显著提升,许可证允许微调和衍生作品。