OpenEuroLLM 发布 Complex KDA 提升线性 RNN 表达力

OpenEuroLLM 团队（含 Frank Hutter、Antonio Orvieto 等）发表论文 Complex KDA（CKDA），针对基于 delta-rule 的线性 RNN（如 Kimi Delta Attention）表达能力受限的问题提出改进。研究系统对比了 Gated Deltanet 与 KDA 的表达力差异，核心思路是引入复数扩展、将旋转表达扩展到 2D 并扩大门控范围，使单层即可追踪更多状态，提升了模型的表达能力。

2026-09-22 ~ 2026-09-22 · 3 条相关

• Complex KDA 论文:扩参让 Kimi Delta Attention 实现 2D 旋转表达 — Yossarian_1234 · 2026-09-22
• Reddit 研究解释 Kimi Delta Attention 表达力,提出扩展门控范围的 Complex KDA — Yossarian_1234 · 2026-09-22

另有 1 条近重复转述:openeurollm