Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation
Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu, Thomas Creavin, Kurt Keutzer, Xiuyu Li, Zhaoyang Lv, Chenfeng Xu, Haiwen Feng
cs.LG
2026-09-18
视频扩散里Softmax太贵,把局部Softmax和帧级双向线性记忆接到MiniMax H3。八步蒸馏后,8卡B200上14.3秒768p的DiT去噪只要6.70秒,质量追上50步稠密基线。
视频扩散 Transformer 的去噪要反复扫很长的时空 token 序列。MiniMax H3 的实测里,Softmax attention 占去噪器运行时间的 85% 以上。稠密 Softmax 让每个 query 直接看到全部 key,代价随序列长度二次增长。语言模型已经在用 delta-rule 线性注意力把远距离上下文压进固定状态,直接搬到视频会掉画质:固定容量留不住细粒度对应,按 patch 顺序逐 token 写状态也不符合「一帧的空间 token 同时可见」,再把随机初始化的线性支路塞进预训练 Softmax 骨干,会先打乱已经学好的信息流。
Video DeltaNet(VDN)按时间角色拆开视频到视频的注意力。邻近帧保留精确 Softmax:H3 的 VAE 以 5 个潜在帧为一块,每个 query 块看自己加前后各一块,窗口约 15 帧,避免从 tokenizer 的时间单元中间切开。另外加两个边界锚点,首尾潜在帧和整段互相可见,给全片段扩散、图生视频和首尾帧条件一条显式全局参照。
窗口以外的视频上下文走双向线性记忆。前向状态汇总窗口之前,反向状态汇总窗口之后,两段不相交,读出相加不会重复计数。线性支路在扫视频前先把全部文本 token 收成一个状态,两个方向各拿一半,相加后文本刚好计一次。文本和音频相关的交互仍走 Softmax。
线性更新不按 token 逐步写。Video Delta Attention(VDA)把一帧里所有空间 token 合成一次状态更新:新状态既靠近衰减后的旧记忆,又同时拟合这一帧全部 key-value。闭式解是在 key 通道上求 (I+A) 的逆,重叠的 key 方向在这一步里互相牵制,不需要像 SANA-WM 那样按帧大小缩放 key。命题给出继承状态的转移非扩张,β≥0 且衰减门在 [0,1] 时,旧记忆不会被一帧更新放大。
两条支路共用预训练 QKV,但各有门控和输出投影。Softmax 窗口变窄后概率更集中,加内容相关的 sigmoid 门;线性读出先 RMSNorm 再出门。接到预训练模型分三阶段,骨干权重全程冻结:先逐层对齐线性支路 200 步,再端到端装上跑 500 步,最后给 QKVO 加 LoRA 并和线性通路、Softmax 门一起训 2000 步。之后用去掉 GAN 项的 DMD2 式目标,从 50 步蒸到 8 步,学生从社区 MiniMax-H3-Turbo-LoRA 初始化,对的是 VDN-H3 自己的 50 步采样器。
训练集约 10015 条 1344×768、345 帧、24 fps 的视频(约 14.4 秒)。评测固定 103 条第三方提示,不做按模型挑题。
质量上,8 步 VDN-H3 在五项无参考指标上追平或略高于 50 步 Dense H3,差值在 +0.06 到 +1.00;四步 FastH3 低 2.70 到 12.74。RAFT 平均光流幅度 11.71,对 Dense 的 11.55,FastH3 掉到 9.19。FIRM-Video 的指令跟随都是 2.25,感知质量 4.45 对 4.40,世界一致性 1.77 对 1.84。首尾帧条件的 PSNR 28.67 对 28.85,SSIM 0.826 对 0.833,LPIPS 0.1156 对 0.1044。
速度要把三件事拆开。单卡 50 步,B200 上骨干从 15.99 秒/步、总 799.6 秒降到 6.16 秒/步、总 307.9 秒,约 2.6 倍;H200 上从 35.35 秒/步到 11.16 秒/步,约 3.2 倍。潜在帧从 42 增到 102 时,Softmax 密度从 42.1% 降到 20.0%,加速随长度变大。8 步蒸馏把单卡 B200 去噪压到 49.3 秒;再加 8 卡头切分,14.3 秒 768p 的 DiT 去噪是 6.70 秒。论文相对同卡数 50 步稠密基线报 14.5 倍,相对单卡 Dense H3 累计 119.3 倍。H200 八卡 8 步是 12.5 秒。
想把现成视频 DiT 推到直播级延迟,这篇给的是改注意力几何,而不是从零训线性骨干。局部 Softmax 保住纹理和短时运动,帧级 delta 记忆接长程,再配蒸馏和推理栈。6.70 秒这个数字把架构、8 步蒸馏和 8 卡切分捆在一起,单看混合注意力在 50 步单卡 B200 上是 2.6 倍。
对已经在跑 H3 或同类窗口注意力的团队,VDA 的工程细节有用:按 VAE chunk 做扫描、寄存器里 Gauss-Jordan 求小矩阵逆、和窗口 Softmax 并流。文本和音频仍走 Softmax,所以这不是「全模型线性化」。
正文没有单独的局限节。混合只改视频到视频,文本和音频交互仍是 Softmax,长文本条件的二次项还在。质量对比来自 103 条固定提示,覆盖面窄,也没有和 Sparse VideoGen、SLA 这类稀疏加速做同设置对照。14.5 倍是架构加蒸馏加多卡的打包数字,不能读成线性注意力单独贡献。适应流程绑在 MiniMax H3 和社区 Turbo LoRA 上,换一个没有 5 帧 VAE 块的 tokenizer,窗口和 chunk 扫描都要重做。求 (I+A) 逆的代价随 key 维度涨,论文只在 H3 的头宽上证明可行。