Reddit 研究解释 Kimi Delta Attention 表达力,提出扩展门控范围的 Complex KDA
Yossarian_1234 · reddit · 2026-09-22
一篇研究帖系统对比了 Gated Deltanet(GDN)与 Kimi Delta Attention(KDA)的表达力差异,并提出改进方案 Complex KDA(CKDA):
- 理论核心:KDA 的全对角门控可充当"反射"操作,使 2D 旋转单步完成,但前提是把门控范围扩展到 [-1,1]、delta rule 学习率扩展到 [0,2]
- 该形式可表达任意"对角+秩一"正交矩阵,能追踪 S3、S4、A5 群但无法表达 S5
- 实验显示 CKDA 能学会 S3/S4 任务,在音频续接上表现有潜力,且训练稳定,在语言建模上可与标准 KDA 竞争
所属事件:Complex KDA 论文:扩参让 Kimi Delta Attention 实现 2D 旋转表达(2 条相关)→
「研究」频道最新
- MIMONet 用神经算子当虚拟传感器,无浮标测出海面高度 — bravo_abad · 2026-09-22
- 免推理 SPLADE 检索:查询延迟降到 BM25 水平的做法 — qdrant_engine · 2026-09-22
- 显微镜分辨率过高反而害了 CNN,U-Net 降采样 4 倍分割更准 — bravo_abad · 2026-09-22
- OpenAI 纳维-斯托克斯证明被指钻了题设漏洞 — joshgans · 2026-09-22
- LuaJIT UDF 把 LLM 决策读出嵌进 DuckDB：零 token 概率分类进 SQL — Shoddy_Telephone9702 · 2026-09-22
- 论文：LLM 主体入市场难收敛，资源配置效率低于人类 — WillRinehart · 2026-09-22