LVMT: Video Mask Transformer for Long-term Video Segmentation
Narges Norouzi, Niccolò Cavagnero, Idil Esen Zulfikar, Bastian Leibe, Gijs Dubbelman, Daan de Geus
cs.CV
2026-09-28
GRU记忆加截断反传训练后,LVMT在OVIS的AP从51.8升至56.4,约95FPS,比DVIS-DAQ快10倍。
在线视频分割要在每一帧给出掩码和类别,并让同一实例全程使用同一个编号。VidEoMT 与后续的 PMT 把系统收成预训练 ViT 加一组向前传递的 query。query 是代表一个物体槽位的向量。PMT 冻结 ViT,只训练上面的轻量解码器,编码器可以跨任务复用。
传到下一帧的内容,是上一帧输出 query 的线性投影,加上一组与时间无关的可学习 query。可学习 query 负责发现新物体。物体被挡住时编码器没有新证据可写,这组向量仍每帧加一次,原来的身份被稀释。物体重新出现就对不上号,造成 identity switch。
显式记忆库能留下被遮挡物体的 query,计算和显存却随视频变长。PMT 默认片段只有 5 帧。只加入 GRU 后,身份切换最多的 20 段视频平均遮挡 13 帧,是训练长度的 2.6 倍;物体数约为切换最少视频的 3 倍,遮挡次数约为 5 倍。直接把训练加到 10 帧,AP 下降 1.9,论文将其归因于梯度穿过更多循环步后变弱;再长则内存不足。
LVMT 沿用 PMT。冻结的 ViT(默认 ViT-L,以 DINOv3 初始化)产生图像块特征,Plain Mask Decoder 结合 query 输出 segmentation query。时间传播从相加改成一个 GRU,全部槽位共享参数,状态长度固定,不随帧数增长。
第 0 帧没有历史,可学习 query 同时作为解码器输入和 GRU 初值。此后每一帧,GRU 读取当前 segmentation query 与旧状态,写出下一帧的传播 query。物体不在画面中时,门控可以少写入、多保留。
长片段训练靠 TQP,全称 Truncated Query Propagation,把 TBPTT 用到 query 上。T 帧切成每块至多 F 帧,默认 F 为 5、T 为 15,共 3 块。各块顺序前向,块末隐藏状态先 detach 再交给下一块,梯度停在块内。全部块跑完,按各块梯度的平均更新一次。峰值显存等于单块,推理不增加计算。
每个物体在首次出现的帧上匹配到一个 query,之后保持该分配。优化器为 AdamW,混合精度,批大小、学习率、分辨率和迭代数与 PMT 相同。
OVIS 验证集用严重遮挡和拥挤场景做压测。下表为 ViT-L 五次运行均值。FPS 在单张 H100 上测量,batch size 为 1,并开启 FlashAttention v2 与 torch.compile。
| 设置 | OVIS AP | 参数 | GFLOPs | FPS |
| PMT,5 帧 | 51.8±0.3 | 358M | 1014 | 97 |
| 只加 GRU,5 帧 | 54.2±0.4 | 363M | 1015 | 95 |
| GRU,10 帧,不截断 | 52.3±0.3 | 363M | 1015 | 95 |
| GRU+TQP,10 帧 | 56.1±0.3 | 363M | 1015 | 95 |
| LVMT,15 帧 | 56.4±0.4 | 363M | 1015 | 95 |
只换 GRU 提高 2.4 AP。同样训 10 帧,不截断梯度时 AP 从 54.2 降到 52.3,TQP 升到 56.1,比朴素加长高 3.8。15 帧的 LVMT 为 56.4±0.4,比 PMT 的 51.8±0.3 高 4.6。参数从 358M 增至 363M,GFLOPs 从 1014 到 1015,FPS 从 97 到 95。
更小骨干增益更大,速度与同尺寸 PMT 接近,具体 FPS 未单列。ViT-B 从 42.7±0.5 到 48.4±0.2,高 5.7;ViT-S 从 31.5±0.4 到 39.3±0.3,高 7.8。
外部对照表没有报告多次运行。冻结 ViT-L、DINOv3 的一行如下,DVIS-DAQ 则用 DINOv2 并微调编码器。
| 方法 | OVIS AP | FPS | YT-VIS 2022 AP | FPS |
| DVIS-DAQ | 54.3 | 8 | 42.0 | 10 |
| CAVIS | 53.4 | 9 | 42.2 | 13 |
| VidEoMT | 51.9 | 104 | 42.8 | 137 |
| PMT | 52.0 | 97 | 45.8 | 123 |
| LVMT | 56.7 | 95 | 51.5 | 121 |
OVIS 上比 DVIS-DAQ 高 2.4 AP,FPS 为 95 对 8,超过 10 倍。YouTube-VIS 2022 上比 CAVIS 高 9.3,比 VidEoMT 高 8.7。LOMM 报告 48.2 AP、12 FPS;双方都用 DINOv2 时,LVMT 为 48.4 AP、127 FPS,精度基本持平。
跟踪方面,identity switch 从 PMT 的 2755 降到 2001,约少 27%。IDF1 从 78.9 到 81.8,AssA 从 73.3 到 78.4。
VIPSeg 全景分割、DINOv3 下,LVMT 的 VPQ 60.3、STQ 53.4、57 FPS,PMT 为 55.5、49.2、58 FPS。VSPW 语义分割上,mIoU 从 65.7 到 66.4,mVC 从 94.9 到 95.3。相对 VidEoMT 的 DINOv3 结果,mIoU 高 2.4,mVC 高 0.9。
记忆机制对照,AP/FPS 分别为 GRU 56.7/95、LSTM 56.0/93、S5 55.8/96、DeepGRU 56.5/91、记忆库 54.5/86。GRU 比记忆库高 2.2 AP,并稍快。
多尺度分辨率下绝对分数与上表不同。10 帧四组为 51.1(都不用)、52.6(只 GRU)、54.5(只 TQP)、56.5(两者)。15 帧不做 TQP 会内存不足,两者合用 56.7;20 帧为 56.8,只多 0.1。平均遮挡已有 13 帧,再加长窗口几乎没有余量。
部署成本与 PMT 同一量级:ViT 仍冻结,可跨任务复用;GRU 状态长度固定,计算不随视频变长。
值得换的是有遮挡、要保编号的在线实例分割和全景分割。相对微调 ViT-Adapter 的 DVIS-DAQ,H100 上大约快 10 倍,AP 还更高。语义分割只多 0.7 个 mIoU,更换理由不足。改进落在传播和训练窗口上,视觉骨干仍是冻结 ViT。
15 帧加到 20 帧只多 0.1 AP,因为 OVIS 平均遮挡约 13 帧,训练窗口已经盖住典型空窗。更长遮挡上会不会更好,正文没有评测。切块约束的是训练显存。分钟级视频里,固定状态还能不能留住身份,同样没有测。
TQP 把梯度截在块内,后一块的损失改不到更早的写入。前向能看见 15 帧,信用分配仍按 5 帧一块进行。长程记忆有没有被直接优化,缺少单独证据。
VIPSeg 上同为 DINOv2 时,DVIS-DAQ 的 VPQ 57.4、STQ 52.0,高于 LVMT 的 56.6 和 51.3。文中的 +2.9 VPQ,是 DINOv3 的 LVMT(60.3)对 DINOv2 的 DVIS-DAQ(57.4),预训练版本不同。OVIS 上同为 DINOv2 时,LVMT 55.6、DVIS-DAQ 54.3,只高 1.3 AP。表内 +2.4 因此混有编码器初始化的差异。
VSPW 上相对 PMT 只有 +0.4 mVC 和 +0.7 mIoU。主消融标准差约 ±0.4,大表没有多次运行,1 个点以内的差距站不稳。YouTube-VIS 2019 与 2021 的分数在附录,正文只说数据集更简单、差距更小。