Kimi K3 架构解析：用「主动遗忘」打造 2.8 万亿参数开源模型
AccBalanced · x · 2026-07-31
一篇关于 Kimi K3 模型的详细技术解析。K3 是目前最大的开源模型，总参数量达 2.8 万亿，但单次推理仅激活 1040 亿参数。
- 核心创新：为解决长上下文导致内存堆积变慢的问题，K3 引入了 Kimi Delta Attention 机制。
- 主动遗忘：每四层网络中有三层使用固定大小的显存工作区，通过覆盖过时信息来阻止内存无限增长；第四层则保留压缩记录以确保细节可追溯。
- 验证过程：团队先在 480 亿参数的小模型上验证了该机制能大幅降低内存消耗，随后才扩展到万亿级别。
所属事件:Kimi K3 开源模型架构解析：弃 RoPE 引入 KDA 与 LatentMoE(5 条相关)→
「模型」频道最新
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16
- Reflection 开源 501B 模型 Beam,Apache 2.0 携 40+ 伙伴生态发布 — bhutanisanyam1 · 2026-10-16