SAM-MT：实时多目标视频分割
FudanCVL · hf · 2026-07-11
这篇工作提出 SAM-MT，用于实时交互式多目标视频分割。作者指出，现有方法在单目标上效果不错，但一旦扩展到多目标，通常要把单目标流程对每个目标重复一遍，导致帧率下降，且目标越多延迟越不可控。
方法
- 基于 Segment Anything 2 (SAM2) 改造为多目标交互框架
- 用显式 query 表示不同目标，并行保留全局上下文
- 通过 decoupled masked attention 减少目标间干扰、保持身份区分
- 结合 sparse memory 维持时序稳定，并加入遮挡处理和重叠防止策略
结果
- 将延迟与目标数量解耦
- 在 10 个目标 时仍可达到 >36 FPS
- 性能接近单目标基线，同时保持 SAM2 的视频分割效果
「多模态」频道最新
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- 翼龙侦探:全程 AI 生成的概念片先导预告亮相 — PterodactylDetective · 2026-09-11
- Imperium 游戏预告片曝光,AI 视频生成再秀肌肉 — keaslenyt · 2026-09-11