Kimi Delta Attention 被解读为查询到键的回归规则
burny_tech · x · 2026-07-28
这条转发在讲 Kimi Delta Attention 和更广义的线性注意力机制。
核心观点是：Mamba2、Gated DeltaNet 和 Kimi Delta Attention 的差异可能没有表面上那么大，真正关键的是它们如何推导状态更新规则。作者把这种更新描述为 q kᵀ 外积的累积和；如果放到 DeltaNet 的视角里，它又很像是在做一个带 MSE loss 的 SGD 更新。换句话说，可以把这类方法理解成：训练一个把 query 映射到 key 的回归模型。
「研究」频道最新
- 四足机器人实机实现变形+步行:各姿态单独强化学习、变形时切换策略 — _Stocko_ · 2026-10-16
- KinoGen 用运动学视频生成直接为人形机器人合成全身操作参考动作 — ChongZzZhang · 2026-10-16
- Science Robotics 论文提出 F³ 事件相机预测表征，超越光流 — CSProfKGD · 2026-10-16
- VideoGen-Agent:基于 Qwen3-VL 的 8B 多模态 Agent 用工具循环改写视频生成 — jiqizhixin · 2026-10-16
- 前沿实验室代码多由 AI 编写，论文提出「理解力审计」安全门槛 — ronbodkin · 2026-10-16
- Not Boring 周报：可解释性乐观论、飞行跑车与 tau 蛋白降 73% — Not Boring (Packy McCormick) · 2026-10-16