月之暗面 Kimi K3 报告披露 2.78T 参数与 2.5 倍效率
teortaxesTex · x · 2026-07-27
- 月之暗面发布 Kimi K3 技术报告，称这是其迄今最大模型：总参数 2.78T、激活参数 104.2B，相较 Kimi K2 的 scaling 效率提升 2.5×。
- 报告披露了训练与架构细节：采用原生多模态训练范式，使用 hybrid KDA-MLA 注意力设计，并在优化上组合了 per-head Muon、weight clipping、QB 负载均衡、cosine decay 和 1% warmup。
- 长上下文方面，Kimi K3 先从 8k 上下文训练，后扩展到 64k，并声称无需 RoPE rescaling/interpolation 也能外推到 1M tokens。
- 配图里还显示 moonshotai/Kimi-K3 已出现在 Hugging Face 模型页，能看到 model card、评测结果和部署信息。
所属事件:Moonshot 发布 Kimi K3 开放权重引争议(155 条相关)→
「模型」频道最新
- MachgenAI:账户余额超25美元可免费用Minimax H3 Turbo生成 — TheMoonMidas · 2026-09-23
- 研究者观察:爱晒AI吹捧自己的多是反社会行为者 — repligate · 2026-09-23
- 评Opus 5.5:语料满是摘要的摘要,一手经验最稀缺 — mimi10v3 · 2026-09-23
- Claude Opus 5.5 登 FrontierSWE 第二名，62.3% 仅次于 GPT-6 Astra — scaling01 · 2026-09-23
- Claude 修复后回归，实测者称速度明显变快 — evielync · 2026-09-23
- 仅凭歌词加音频,Opus 5.5 复刻出视觉作品引开发者惊叹 — repligate · 2026-09-23