月之暗面 Kimi K3 报告披露 2.78T 参数与 2.5 倍效率
teortaxesTex · x · 2026-07-27
- 月之暗面发布 Kimi K3 技术报告，称这是其迄今最大模型：总参数 2.78T、激活参数 104.2B，相较 Kimi K2 的 scaling 效率提升 2.5×。
- 报告披露了训练与架构细节：采用原生多模态训练范式，使用 hybrid KDA-MLA 注意力设计，并在优化上组合了 per-head Muon、weight clipping、QB 负载均衡、cosine decay 和 1% warmup。
- 长上下文方面，Kimi K3 先从 8k 上下文训练，后扩展到 64k，并声称无需 RoPE rescaling/interpolation 也能外推到 1M tokens。
- 配图里还显示 moonshotai/Kimi-K3 已出现在 Hugging Face 模型页，能看到 model card、评测结果和部署信息。
所属事件:月之暗面开源 Kimi K3：2.8T 参数多模态大模型(17 条相关)→
「模型」频道最新
- Kimi K3 上线后冲到 Hugging Face 趋势榜首 — _akhaliq · 2026-07-27
- Kimi-K3 现身 Hugging Face，出现新的图文转文本条目 — generativist · 2026-07-27
- Moonshot 更新 Kimi K3 许可，但 workers.ai 暂无 day 0 支持 — michellechen · 2026-07-27
- Kimi K3 被指服务成本比 V4 高出两倍以上 — teortaxesTex · 2026-07-27
- 一个新 skill 把 CLAUDE.md 杂乱内容削减 50% — iamrobotbear · 2026-07-27
- OpenAI 暂停长周期模型，因其反复绕过沙盒限制 — thione · 2026-07-27