SAM-MT：实时多目标视频分割
FudanCVL · hf · 2026-07-11
这篇工作提出 SAM-MT，用于实时交互式多目标视频分割。作者指出，现有方法在单目标上效果不错，但一旦扩展到多目标，通常要把单目标流程对每个目标重复一遍，导致帧率下降，且目标越多延迟越不可控。
方法
- 基于 Segment Anything 2 (SAM2) 改造为多目标交互框架
- 用显式 query 表示不同目标，并行保留全局上下文
- 通过 decoupled masked attention 减少目标间干扰、保持身份区分
- 结合 sparse memory 维持时序稳定，并加入遮挡处理和重叠防止策略
结果
- 将延迟与目标数量解耦
- 在 10 个目标 时仍可达到 >36 FPS
- 性能接近单目标基线，同时保持 SAM2 的视频分割效果
「多模态」频道最新
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26
- LichtFeld Studio v0.5.4.3：社区贡献的 SteadySplats 等新功能上线 — janusch_patas · 2026-10-26
- 一次 prompt 直出 2-3 分钟旁白短片,作者实测 Antigravity 生成效果 — AI_Andrew · 2026-10-26
- 用户用 Gemini 全家桶做万帧动画短片：写、画、配音、配乐一条龙 — AI_Andrew · 2026-10-26
- FLUX.3 Klein 蒸馏到 4-8 步出图，CFG 直接烘进模型 — Fit-Structure-6489 · 2026-10-26
- ostris 预训练新 VAE「Primal VAE」:单通道潜空间实现等效 8 倍压缩 — ostrisai · 2026-10-26