DeltaNet 笔记拆解 Kimi Delta Attention 状态更新
nrehiew_ · x · 2026-07-22
这条线程是在梳理 DeltaNet / Gated DeltaNet / Kimi Delta Attention 的推导关系，并配图解释状态更新到底怎么做。
- 先从 线性注意力 讲起：去掉 softmax 后，可以重排矩阵运算。
- 接着引入 delta rule：把新的关联信息累积进递归状态，同时修正之前状态里重复存下来的旧关联。
- Gated Delta Net 再加入数据依赖的门控 alpha、beta，分别控制旧状态衰减、旧值擦除和新值写入。
- 配图把几种写法并排比较，突出 Kimi Delta Attention 先用数据依赖的对角矩阵按维度缩放，再做类似 delta 的状态更新。
- 原帖定位是学习笔记，并提示读者去看原始线程获取更完整推导。
「公司和人」频道最新
- Anthropic 内部爆料:并非人人都持高 p(doom) 灾难论 — anpaure · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- Anthropic 研究员被指暗中窥探学术客户研究、抢先出成果引争议 — basedjensen · 2026-09-11
- 投资人放话:Palantir×英伟达联手将重创 Anthropic IPO 估值 — pdamodaran · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11