Reddit 研究解释 Kimi Delta Attention 表达力,提出扩展门控范围的 Complex KDA
Yossarian_1234 · reddit · 2026-09-22
一篇研究帖系统对比了 Gated Deltanet(GDN)与 Kimi Delta Attention(KDA)的表达力差异,并提出改进方案 Complex KDA(CKDA):
- 理论核心:KDA 的全对角门控可充当"反射"操作,使 2D 旋转单步完成,但前提是把门控范围扩展到 [-1,1]、delta rule 学习率扩展到 [0,2]
- 该形式可表达任意"对角+秩一"正交矩阵,能追踪 S3、S4、A5 群但无法表达 S5
- 实验显示 CKDA 能学会 S3/S4 任务,在音频续接上表现有潜力,且训练稳定,在语言建模上可与标准 KDA 竞争
所属事件:OpenEuroLLM 发布 Complex KDA 提升线性 RNN 表达力(3 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12