DeltaNet 笔记拆解 Kimi Delta Attention 状态更新
nrehiew_ · x · 2026-07-22
这条线程是在梳理 DeltaNet / Gated DeltaNet / Kimi Delta Attention 的推导关系，并配图解释状态更新到底怎么做。
- 先从 线性注意力 讲起：去掉 softmax 后，可以重排矩阵运算。
- 接着引入 delta rule：把新的关联信息累积进递归状态，同时修正之前状态里重复存下来的旧关联。
- Gated Delta Net 再加入数据依赖的门控 alpha、beta，分别控制旧状态衰减、旧值擦除和新值写入。
- 配图把几种写法并排比较，突出 Kimi Delta Attention 先用数据依赖的对角矩阵按维度缩放，再做类似 delta 的状态更新。
- 原帖定位是学习笔记，并提示读者去看原始线程获取更完整推导。
「公司和人」频道最新
- Google DeepMind 前沿计算团队在伦敦招募学生研究员 — PetarV_93 · 2026-10-27
- 日本 Aeon 前高管：AI 智能体是此生最具影响力的创新 — akumar · 2026-10-27
- 欧洲第10国拉脱维亚批准 Tesla FSD,马斯克称赞小国审批最快 — elonmusk · 2026-10-27
- AI 动画创作者 Eduardo 加入 Reflection AI,押注开源权重路线 — bigblueboo · 2026-10-27
- 微软向 6 万员工提出自愿买断,以削减成本应对 AI 算力开支 — Polymarket · 2026-10-27
- 马斯克盛赞 Grok Bot:像雇了个超能干的幕僚长 — elonmusk · 2026-10-27