Complex KDA 论文:扩参让 Kimi Delta Attention 实现 2D 旋转表达

OpenEuroLLM 团队(含 Frank Hutter、Antonio Orvieto 等)发布论文 Complex KDA(CKDA),改进 Kimi Delta Attention。研究系统对比了 Gated Deltanet(GDN)与 KDA 的表达力差异,指出 KDA 通过门控机制可接近 GDN 的表达能力,而原始 KDA 的门控范围受限;CKDA 通过扩展参数量,使 KDA 实现二维旋转式的表达,进一步缩小与 GDN 的差距。

2026-09-22 ~ 2026-09-22 · 2 条相关