OpenEuroLLM 提出复数版 Kimi Delta Attention,单层即可追踪更多状态
openeurollm · hf · 2026-09-22
OpenEuroLLM 团队发布 Complex KDA (CKDA),针对基于 delta-rule 的线性 RNN 表达能力受限问题给出改进。
- 核心思路:此前研究表明在单次循环更新中组合两个 delta-rule 变换可建模 2D 旋转,但会增加更新秩与成本;CKDA 改为用一个 delta-rule 变换加上 Kimi Delta Attention 逐通道门控提供的第二次反射来实现 2D 旋转,无需额外秩开销。
- 实现方式:组合两个已有的参数范围扩展——门控取值扩展到 [-1,1],delta-rule 系数 β 扩展到 [0,2]。
- 理论结果:证明每个正交的对角加秩一矩阵都恰是一个 CKDA 转移矩阵;单个 CKDA 层可追踪所有同构于 SO(3) 子群的有限群,许多状态追踪结果比其他对角加秩一线性 RNN 少用一层。同时保持 KDA 的稳定性与效率(转移矩阵保持对角加秩一且非扩张)。
- 实验:在 S3、S4 和周期音频续写任务上长度外推表现最佳;语言建模上优于 Transformer 和其他线性 RNN,与 KDA 基线相当,并展现良好 scaling 行为。
代码与模型均已开源(GitHub: OpenEuroLLM/ComplexKDA)。
所属事件:OpenEuroLLM 发布 Complex KDA 提升线性 RNN 表达力(3 条相关)→
「研究」频道最新
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12
- 斯坦福 ICML 研究登上 CNBC：AI 智能体团队也会「随大流」 — StanfordAILab · 2026-11-12
- Aaronson-Ambainis 猜想获证明，更强变体一并证毕并附 arXiv — TuhinChakr · 2026-11-12