曝月之暗面将发布Kimi K3：2.8万亿参数，支持百万上下文
johnseach · x · 2026-07-27
据爆料，月之暗面（Moonshot AI）将于今日在 Hugging Face 开源 Kimi K3 模型，这将是全球首个 3 万亿参数级别的开源模型。
核心参数与架构：
- 总参数量达 2.8 万亿，采用高度稀疏的 MoE 架构（每 token 仅激活 896 个专家中的 16 个）。
- 支持 100 万 token 的上下文窗口，并具备原生视觉支持能力。
- 基于 Kimi Delta Attention (KDA) 和 Attention Residuals 构建，专为长线编程、智能体工作流和深度知识工作设计。
硬件与部署：
- 原生 MXFP4 权重体积约 594 GB，最低需 8×H100 80GB 进行实验性加载，生产级部署可能需要 64 个以上加速器。
- 预计采用修改版 MIT 许可证（允许商用），vLLM 已提供 Day-0 支持。
此举标志着开源模型再次迎来重大突破，中国实验室在开源大规模模型方面持续领先。
「Infra」频道最新
- min-p 设为 0.05 可提升 Laguna S2.1 质量 — antirez · 2026-07-27
- Cloudflare 验证页开始区分 AI agents 和真人 — shashib · 2026-07-27
- Qwen3.6-27B 实测：量化越重，Spec Decode 越赚 — thavoc77 · 2026-07-27
- AgentPond 增加 Supabase 支持，把 traces 留在应用里 — MarcusSchiesser · 2026-07-27
- 有人把 SGLang 改到 4 张 V100 上跑 Qwen — Primary_Exchange21 · 2026-07-27
- ARM 在 SIGGRAPH 展示神经超采样与去噪 — palgorithm · 2026-07-27