Moonshot 发布 2.8T 开源 Kimi K3，支持 100 万 token 上下文
alex_verem · x · 2026-07-29
Moonshot 发布了 Kimi K3 技术报告，主打的不是单纯堆算力，而是更高效地使用算力。
模型与架构
- Kimi K3 是一个 2.8T 参数的开源权重 MoE 模型，其中 104B 参数激活。
- 支持 100 万 token 上下文。
- 架构里包含 Kimi Delta Attention 和 Attention Residuals，用于改善长序列和深层网络中的信息流。
- 其 Stable LatentMoE 设计每个 token 只激活 896 个专家中的 16 个，目标是把计算路由到真正需要的地方，而不是每次都让全模型参与。
他们想证明什么
报告声称，Kimi K3 相比 Kimi K2 在整体上实现了约 2.5 倍的 intelligence per unit of compute 提升。
训练与能力
后训练阶段通过跨通用、代码和推理任务的强化学习，提升了组合泛化和长程执行能力。报告还强调，这一系统性提升来自算法设计、专家并行训练、显存/内存管理、百万 token 级 agentic RL、持久 rollout、sandbox 状态与部署创新的共同作用。
结果与定位
- 报告称 Kimi K3 在长链路编程、智能体任务、知识、推理和视觉任务上达到前沿水平。
- 在其评测集合里，整体表现被描述为仅次于最强的闭源模型。
- Moonshot 还放出了完整权重，目的是促进后续研究和更广泛采用。
所属事件:Moonshot发布2.8T开源Kimi K3，首日推理破423 tok/s(7 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16