Kimi K3 架构解析：2.8万亿参数与主动遗忘机制

Kimi 推出的 K3 模型成为目前最大的开源模型，总参数量高达 2.8 万亿，但单次推理仅激活 1040 亿参数以优化效率。在架构设计上，K3 大胆放弃了 RoPE（旋转位置编码），转而引入 KDA 与 LatentMoE 技术。此外，模型通过创新的“主动遗忘”机制有效解决了长上下文处理带来的性能瓶颈，在关键取舍上实现了显著的性能提升。

2026-07-30 ~ 2026-07-31 · 2 条相关