Kimi K3 架构突破：移除 RoPE 改用 NoPE

近期关于 Kimi 大模型架构的讨论引发热议。分析指出 Kimi K3 彻底移除了旋转位置编码（RoPE），改用无位置编码（NoPE）方案，这被视为底层架构创新和“苦涩教训”的胜利。此外，有研究将 RoPE 和 ALiBi 统一视为带虚实对数衰减的 KDA 变体，并指出 Kimi K3 虽然采用 NoPE，但其递归式的 KDA 机制仍在隐式编码序列顺序，模型并未完全丧失位置感知能力。

2026-07-28 ~ 2026-07-29 · 3 条相关