DeltaNet 笔记拆解 Kimi Delta Attention 状态更新
nrehiew_ · x · 2026-07-22
这条线程是在梳理 DeltaNet / Gated DeltaNet / Kimi Delta Attention 的推导关系，并配图解释状态更新到底怎么做。
- 先从 线性注意力 讲起：去掉 softmax 后，可以重排矩阵运算。
- 接着引入 delta rule：把新的关联信息累积进递归状态，同时修正之前状态里重复存下来的旧关联。
- Gated Delta Net 再加入数据依赖的门控 alpha、beta，分别控制旧状态衰减、旧值擦除和新值写入。
- 配图把几种写法并排比较，突出 Kimi Delta Attention 先用数据依赖的对角矩阵按维度缩放，再做类似 delta 的状态更新。
- 原帖定位是学习笔记，并提示读者去看原始线程获取更完整推导。
「公司和人」频道最新
- OpenAI 估值压力或逼出微软式合资结构 — MxMnr · 2026-07-23
- YC 看好金融合规的 AI 原生基础设施 — ycombinator · 2026-07-23
- 编码代理可替 API 厂商自动提交迁移 PR — ycombinator · 2026-07-23
- Merge 先访谈 100 家公司 9 个月才开始写代码 — shensi · 2026-07-23
- YC 认为 AI 创业正从软件走向物理世界 — ycombinator · 2026-07-23
- 黄仁勋为 Kimi K3 辩护：称外界的逻辑全反了 — pstAsiatech · 2026-07-22