Kimi K3底层优化：KDA数值稳定性与分块并行计算改进

nrehiew_ · x · 2026-07-29

针对 Kimi K3 中的 KDA (Delta Attention)，作者解析了其在数值稳定性方面的工程优化。在分块并行计算中，过大的 chunk 会引发衰减并导致数值不稳定。K3 通过将其进一步切分为 16 个 token 的 tile 并在内部执行衰减来缓解此问题。

同时，模型采用 scaled sigmoid 替代 softplus 来计算遗忘门，这不仅将衰减下限控制在 -5，还允许在对角元素计算中使用 Tensor Core。最后，输出门控被修改为数据依赖且满秩的形式。