Kimi K3 公开后焦点转向架构
月之暗面公开 Kimi K3 权重和技术材料后，社区的关注点很快从“2.8T 有多大”转向“它到底改了什么”。按帖子转述的发布信息，K3 是一款 93 层、总参数 2.8T、激活参数 104B 的开权重 MoE；每个 token 会从 896 个专家中激活 16 个，并宣称支持 100 万 token 上下文 与原生视觉理解。更值得关注的是，多位读论文者认为它在注意力、位置建模和长上下文状态成本上做了更激进的改写，因此它更像一次开权重架构路线展示，而不只是规模秀。
已确认
- 多条帖子转述发布材料称，Kimi K3 为 2.8T 参数、104B 激活参数 的 93 层 MoE；每个 token 激活 896 个专家中的 16 个，并支持 100 万 token 上下文 与原生视觉。
- Sebastian Raschka 根据架构图复盘认为，K3 不是完全另起炉灶，而是 Kimi Linear 从 48B 级别扩到 2.8T 的大规模生产化版本；他还指出层数从 27 层 扩到 93 层，并以 latent MoE 替代标准 MoE。
- peterjliu 与 bookwormengr 读论文后都特别指出，K3 去掉了位置编码或位置嵌入，这明显偏离常见 Transformer 路线。
- bookwormengr 根据论文配图提到，在 128K tokens 下，All-MLA (93L) 需要 13.7 GB，而 Kimi KDA constant-state 需要 3.7 GB，显存成本下降约 73%。
- 对技术报告的帖子转述还披露，K3 的后训练分为三步；在给定材料里，已明确写出的其中一步是使用合成 agent 轨迹进行 SFT cold start。
尚未确认
- peterjliu 结合论文与 MoonshotAI 的 FlashKDA 代码提交推测，K3 主线模型可能采用了线性注意力与全注意力混合的设计，并使用自研 Kimi Linear 变体；但在本簇材料里，尚未看到更完整的官方逐层拆解来完全坐实这些实现细节。
为什么重要
- 多位分析者都强调，理解 K3 不能只停留在“更大的 Transformer”或“更大的 MoE”。他们把它放回从 GPT-2 以来、由规模扩张走向注意力原语改造的长期演进线上看。
- 如果论文里的设计在真实部署中同样成立，K3 的意义就在于尝试用架构换效率，尤其是压低长上下文的显存与状态成本，而不只是继续用更多参数换能力。
2026-07-27 ~ 2026-07-29 · 25 条相关
- 第 1 集:Kimi K3 登顶前端 Web App 榜单并获英文能力好评(2026-07-21,3 条)
- 第 2 集:Kimi K3 跃升至 Agent Arena 第 4 名(2026-07-21,6 条)
- 第 3 集:Moonshot 发布 2.8 万亿参数开源模型 Kimi K3(2026-07-21,8 条)
- 第 4 集:Kimi K3比肩Fable 5：性能相当且成本仅三分之一(2026-07-21,7 条)
- 第 5 集:Kimi K3 创开源模型 ECI 指数新高但仍有代差(2026-07-22,3 条)
- 第 6 集:研究称Kimi K3具有评测意识，被指刷题(2026-07-22,2 条)
- 第 7 集:Kimi K3 刷榜 AA-Briefcase 但成本与耗时高昂(2026-07-22,6 条)
- 第 8 集:Kimi K3 横评表现亮眼跻身全球顶级模型梯队(2026-07-22,4 条)
- 第 9 集:Kimi K3 公开后焦点转向架构(2026-07-27,25 条)
- 第 10 集:TokenSpeed实现Kimi K3双平台首发支持(2026-07-27,2 条)
- 第 11 集:Moonshot Kimi K3首发上线Nebius，支持百万上下文(2026-07-27,3 条)
- 第 12 集:SGLang首发支持Kimi K3，吞吐量飙升至423 tok/s(2026-07-28,8 条)
- 第 13 集:月之暗面Kimi K3旗舰模型在Together AI首发上线(2026-07-28,12 条)
- 第 14 集:Kimi K3 Max 登顶多项 Arena 榜单，开源模型比肩闭源(2026-07-28,11 条)
- 第 15 集:Fireworks 实测：Kimi K3 质量接近 Opus 5 且成本大降(2026-07-28,5 条)
- 第 16 集:Kimi K3早期测试表现亮眼引发社区热议(2026-07-28,3 条)
- 第 17 集:Kimi K3 本地实测胜出，3D 物理场景击败多款云端模型(2026-07-28,5 条)
- 第 18 集:Kimi K3技术报告深度拆解：工程协同成就前沿性能(2026-07-28,21 条)
- 第 19 集:月之暗面 Kimi K3 登陆日本(2026-07-28,2 条)
- 第 20 集:Kimi K3 通过 Compound 基准但缓存命中率被指拖累成本(2026-07-29,2 条)
一手来源
- Kimi K3 论文公开在 arXiv，附带架构笔记 — yogthos ·
- Kimi Delta Attention 将 KV cache 压低 75% 并提速 6 倍 — johnseach · 2026-07-27
- 七年开源模型架构演进，解释 Kimi K3 不只是变大 — philipkiely · 2026-07-27
- 一篇深度复盘把 Kimi K3 追溯到 GPT-2 与 8 篇论文 — Madisonkanna · 2026-07-27
- LLM 架构长演进梳理到 Kimi K3 — baseten · 2026-07-28
- Kimi K3 论文去掉位置嵌入，明显偏离 Transformer 传统 — peterjliu · 2026-07-28
- Kimi K3 据称沿用 block attention residuals，模型共 93 层 — burny_tech · 2026-07-28
- Kimi K3 被解读为远离 Transformer 的注意力原语演进 — AccBalanced · 2026-07-28
- Kimi K3 被用工业管道系统解释其架构设计 — doodlestein · 2026-07-28
- Baseten 工程师拆解 Kimi K3：七年迭代不是只靠堆参数 — khademinori · 2026-07-28
- Kimi 放出 K3 权重：2.78 万亿参数、百万上下文、新许可 — AGI Hunt · 2026-07-28
- Kimi K3 开源：2.8 万亿参数，百万上下文，vLLM 同步适配 — 青稞AI · 2026-07-28
- Kimi K3 扩到 2.8T 参数并彻底弃用 RoPE — rasbt · 2026-07-28
- Kimi K3 论文透露混合注意力与自研 Kimi Linear — peterjliu · 2026-07-28
- MoonshotAI 的 FlashKDA 提交暗示主线模型用了混合注意力 — peterjliu · 2026-07-29
- 【源头】Kimi K3 论文公开在 arXiv，附带架构笔记 — yogthos · 2026-07-29
- Kimi 发布 2.8 万亿参数开放模型 K3，支持百万 token 上下文 — CatAstro_Piyush · 2026-07-29
- Kimi K3 报告披露 2.8T MoE 后训练配方 — cwolferesearch · 2026-07-29
- 月之暗面 Kimi K3 是 2.8 万亿参数的 MoE 模型 — PeterDiamandis · 2026-07-29
- Kimi K3 开源：2.8万亿参数与百万级上下文 — usamawahabkhan · 2026-07-29
- Kimi K3 发布：93 层架构，潜 MoE 替代标准 MoE — hugobowne · 2026-07-29
- Kimi K3 开源 2.8 万亿参数权重，带火长上下文与注意力演进讨论 — 机器之心 · 2026-07-29
- Moonshot 开源 Kimi K3 权重，2.8T MoE 支持百万上下文 — Gradio · 2026-07-29
- Kimi K3 常量状态设计让长上下文显存降约 73% — bookwormengr · 2026-07-29
- Kimi K3技术报告解读：算力效率提升2.5倍的秘密 — alex_verem · 2026-07-29
另有 1 条近重复转述:bookwormengr