Moonshot 发布 2.8T 开源 Kimi K3，支持 100 万 token 上下文
alex_verem · x · 2026-07-29
Moonshot 发布了 Kimi K3 技术报告，主打的不是单纯堆算力，而是更高效地使用算力。
模型与架构
- Kimi K3 是一个 2.8T 参数的开源权重 MoE 模型，其中 104B 参数激活。
- 支持 100 万 token 上下文。
- 架构里包含 Kimi Delta Attention 和 Attention Residuals，用于改善长序列和深层网络中的信息流。
- 其 Stable LatentMoE 设计每个 token 只激活 896 个专家中的 16 个，目标是把计算路由到真正需要的地方，而不是每次都让全模型参与。
他们想证明什么
报告声称，Kimi K3 相比 Kimi K2 在整体上实现了约 2.5 倍的 intelligence per unit of compute 提升。
训练与能力
后训练阶段通过跨通用、代码和推理任务的强化学习，提升了组合泛化和长程执行能力。报告还强调，这一系统性提升来自算法设计、专家并行训练、显存/内存管理、百万 token 级 agentic RL、持久 rollout、sandbox 状态与部署创新的共同作用。
结果与定位
- 报告称 Kimi K3 在长链路编程、智能体任务、知识、推理和视觉任务上达到前沿水平。
- 在其评测集合里，整体表现被描述为仅次于最强的闭源模型。
- Moonshot 还放出了完整权重，目的是促进后续研究和更广泛采用。
「Infra」频道最新
- 基准报告补充 Helion 在 H100 上快过 PyTorch SDPA — RisingSayak · 2026-07-29
- Helion 接入 Hugging Face Kernels，H100 上快过 PyTorch SDPA — RisingSayak · 2026-07-29
- Extropic 与美国商务部签署 7500 万美元 LOI — beffjezos · 2026-07-29
- 双 L40S 跑 Qwen3.6-35B，TP 竟比 PP 更快 — amiitk · 2026-07-29
- SK hynix 据称与约 10 家大客户签长期合同 — dejavucoder · 2026-07-29
- 上海 Aishengna 被指接手 DUV 光刻设备制造 — zephyr_z9 · 2026-07-29