SAM-MT：实时多目标视频分割

FudanCVL · hf · 2026-07-11

这篇工作提出 **SAM-MT**，用于实时交互式多目标视频分割。作者指出，现有方法在单目标上效果不错，但一旦扩展到多目标，通常要把单目标流程对每个目标重复一遍，导致帧率下降，且目标越多延迟越不可控。 ### 方法 - 基于 **Segment Anything 2 (SAM2)** 改造为多目标交互框架 - 用显式 query 表示不同目标，并行保留全局上下文 - 通过 **decoupled masked attention** 减少目标间干扰、保持身份区分 - 结合 sparse memory 维持时序稳定，并加入遮挡处理和重叠防止策略 ### 结果 - 将延迟与目标数量解耦 - 在 **10 个目标** 时仍可达到 **>36 FPS** - 性能接近单目标基线，同时保持 SAM2 的视频分割效果

原文链接 →