Kimi K3 优化 KDA 机制：设下界防溢出并升级全秩 gate

Kimi K3 在 KDA 机制上进行了两项关键优化以提升稳定性。首先，为避免 chunkwise KDA 出现溢出问题，K3 引入了 -5 的下界来锁住衰减。其次，随着模型规模的扩展，原有的低秩参数化输出 gate 被证实无法有效解决 attention sink 问题，因此 K3 将其直接升级为输入相关的全秩投影。

2026-07-28 ~ 2026-07-28 · 2 条相关

• Kimi K3 用 -5 下界锁住衰减，避免 chunkwise KDA 溢出 — suchenzang · 2026-07-28
• Kimi K3 把 KDA gate 改成全秩，低秩被指没解决 attention sink — suchenzang · 2026-07-28