Complex KDA 论文:扩参让 Kimi Delta Attention 实现 2D 旋转表达
Yossarian_1234 · reddit · 2026-09-22
OpenEuroLLM 团队(含 Frank Hutter、Antonio Orvieto 等)发布论文 Complex KDA,改进 Kimi Delta Attention 这类基于 delta-rule 的线性 RNN 的表达能力。
- 核心思路:先前工作需要把两次 delta-rule 变换组合进一次递归更新才能建模 2D 旋转,代价是秩和计算成本上升;本文证明 KDA 只需单次 delta-rule 变换加上其通道门控提供的第二次反射,即可实现 2D 旋转。
- 参数扩展:组合两种已有范围扩展——门控取值放宽到 [-1,1]、delta-rule 系数 β 放宽到 [0,2],得到 Complex KDA(CKDA)。
- 理论结果:CKDA 保持稳定与效率(转移矩阵仍为对角+秩一、非扩张),并证明每个正交对角+秩一矩阵都恰是一个 CKDA 转移矩阵;单层 CKDA 可追踪 SO(3) 任意子群对应的有限群,多个状态追踪结论比其他对角+秩一线性 RNN 少用一层。
- 实验:在 S3/S4 和周期音频续写上长度外推最强;语言建模上超过 Transformer 和其他线性 RNN,与 KDA 基线相当,并展现良好 scaling 行为。
代码、模型集合与论文已在 GitHub、HuggingFace 和 arXiv 开放。
「研究」频道最新
- Figure Helix 2.5 进驻 30 个陌生家庭，任务成功率 56% 远超从头训练 — lukas_m_ziegler · 2026-09-22
- Decision Index 0.1 发布：向每个模型提问 13 万次横评 30+ 决策模型 — multimodalart · 2026-09-22
- Deep Persona 三层心理架构，让 LLM 角色扮演更贴近真人 — UoHaifa · 2026-09-22
- 大连理工 CARE 框架让 VLA 机器人从失败中学会纠错，成功率提升 15.9 点 — dalian-university-of-technology · 2026-09-22
- Mira-Scene 用像素对齐坐标图解决生成式 3D 场景布局，3D-IoU 提升 39.8% — Yang-Tian Sun · 2026-09-22
- D-RAC 文档切块法省 95.7% token，企业 RAG 摄取成本降 78%~86% — Yellow-AI-NLP · 2026-09-22