阿里达摩院开源 WorldAttention:交互式视频世界模型高效注意力架构
Alibaba-DAMO-Academy · hf · 2026-09-30
阿里达摩院发布 WorldAttention,一套面向文本条件交互式视频世界模型的高效注意力架构,解决长时程生成中的历史上下文与显存瓶颈问题。核心设计:
- Hybrid Sparse Attention (HSA):线性全局注意力 + 头自适应稀疏注意力,替代传统滑窗机制造成的上下文丢失。
- Hierarchical KV Cache (HKV):将历史 KV 对按语义索引组织到多级存储页中,细粒度检索并控制 GPU 驻留,避免 KV cache 线性增长导致显存饱和。
- 配套定制 kernel 将理论效率转化为实际性能。
在 VBench-Long 和 InterVBench 上全面超越此前 SOTA,主体一致性分别达 0.9472 和 0.9668。该架构瞄准具身智能与基于仿真的规划所需的低延迟、长时长生成场景。
「多模态」频道最新
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16
- 3.5 亿人说的 Hinglish:Sarvam 模型打通印地英语语音 agent — itsOmSarraf_ · 2026-11-16
- 博主实测 Dreamina Marketing Studio:用 Seedream 5.0 Pro 一键生成产品广告 — socialwithaayan · 2026-11-16
- GitHub 热门设计 skill 作者揭秘:靠评审循环而非 prompt 做出好设计 — PrajwalTomar_ · 2026-11-16