StreamErase 实现单 GPU 26 FPS 实时视频物体擦除,延迟降至 0.87 秒
Zhuobai Dong · hf · 2026-10-15
武汉大学、阿里等机构的论文 StreamErase 将视频物体擦除从离线分钟级推向实时流式:在单张 GPU 上达到最高 26.06 FPS、延迟 0.87 秒,相比此前方法(VACE 延迟 204 秒)提速 200 余倍。
核心做法:
- 先用带 mask 输入的双向文生视频基础模型(教师)学习擦除物体并合成连贯背景;
- 再将擦除能力逐步蒸馏到高效的单向流式模型(学生);
- 采用滑动窗口因果注意力 + attention sinks、self-rollout 与 KV cache 滚动训练,用固定上下文窗口模拟推理期外推,避免误差累积,实现任意长视频的恒速生成。
团队还发布了长视频流式擦除 benchmark LongErase,模型性能与现有擦除模型相当或更优,并支持用户画 mask 即时看到擦除结果的交互式体验。
「多模态」频道最新
- 「Spooky season」：一组电影质感 AI 万圣节插画刷屏 — egeberkina · 2026-10-15
- 用 Gemini 4 把经典名画生成复古像素动画,效果惊艳 — fofrAI · 2026-10-15
- Glance Forcing：单条轨迹蒸馏把视频自回归化成本降上万倍 — Zhuobai Dong · 2026-10-15
- 昆仑万维开源 Matrix-Game 4.0:单张 5090 实时可玩 AI 世界模型 — mishig25 · 2026-10-15
- 阿里 TaoLive 团队开源 3 步 LoRA,实现实时流式音视频生成 — linoy_tsaban · 2026-10-15
- 整段视频全由 Opus 5.5 Max reasoning 生成，未用任何 skills — Hesamation · 2026-10-15