Video DeltaNet 混合注意力加速视频生成,768p 视频去噪仅 6.7 秒
Haocheng Xi · hf · 2026-09-18
论文提出 Video DeltaNet（VDN），面向直播场景的视频生成，用视频原生混合注意力替代纯 softmax 注意力以突破计算瓶颈。
- 架构：局部 softmax 注意力 + 双向线性记忆负责长程视频上下文；线性分支引入 Video Delta Attention（VDA），每帧结合空间 token 更新一次记忆；独立输出投影与可学习门控校准两分支，通过分阶段教师对齐逐步引入预训练模型
- 实现：基于 MiniMax H3 实例化，视频到视频交互走混合注意力，文本/音频交互保留 softmax
- 性能：经八步蒸馏与优化过的 SGLang 服务栈，VDN-H3 在 8 张 NVIDIA B200 上完成 14.3 秒、768p 视频的 DiT 去噪仅用 6.70 秒，较 50 步 dense H3 基线加速 14.5 倍
「多模态」频道最新
- 博主实测 Plot Party 的 Seedance Draft:低成本试错 AI 视频创作 — umesh_ai · 2026-11-04
- 实测四大流模型采样器：8-16 步下差异肉眼可见 — YakovSava · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Seedance 2.5 生成「离谱版 Malfoy」视频，效果惊人 — nikola_mr64990 · 2026-11-04
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- PixelBench：用逐像素生成取代 QA,重新测多模态模型 — bdsqlsz · 2026-11-04