Complex KDA 论文:扩参让 Kimi Delta Attention 实现 2D 旋转表达
Yossarian_1234 · reddit · 2026-09-22
OpenEuroLLM 团队(含 Frank Hutter、Antonio Orvieto 等)发布论文 Complex KDA,改进 Kimi Delta Attention 这类基于 delta-rule 的线性 RNN 的表达能力。
- 核心思路:先前工作需要把两次 delta-rule 变换组合进一次递归更新才能建模 2D 旋转,代价是秩和计算成本上升;本文证明 KDA 只需单次 delta-rule 变换加上其通道门控提供的第二次反射,即可实现 2D 旋转。
- 参数扩展:组合两种已有范围扩展——门控取值放宽到 [-1,1]、delta-rule 系数 β 放宽到 [0,2],得到 Complex KDA(CKDA)。
- 理论结果:CKDA 保持稳定与效率(转移矩阵仍为对角+秩一、非扩张),并证明每个正交对角+秩一矩阵都恰是一个 CKDA 转移矩阵;单层 CKDA 可追踪 SO(3) 任意子群对应的有限群,多个状态追踪结论比其他对角+秩一线性 RNN 少用一层。
- 实验:在 S3/S4 和周期音频续写上长度外推最强;语言建模上超过 Transformer 和其他线性 RNN,与 KDA 基线相当,并展现良好 scaling 行为。
代码、模型集合与论文已在 GitHub、HuggingFace 和 arXiv 开放。
所属事件:OpenEuroLLM 发布 Complex KDA 提升线性 RNN 表达力(3 条相关)→
「研究」频道最新
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12
- AG2 消融实验：条件调制需进入编码器，eQTL 召回率近乎翻倍 — anshulkundaje · 2026-11-12
- 作者吐槽 CHI2027 评审:自认 ADR 论文优于所审稿件 — windx0303 · 2026-11-12
- 谷歌发布 AlphaGenome 2:预测 DNA 变异对特定细胞类型的影响 — sundarpichai · 2026-11-12
- 斯坦福 James Zou 上《经济学人》播客谈 agentic AI 如何变革科研 — anshulkundaje · 2026-11-12