SpecWM: Turning Verification into Refinement for Streaming World Models
Jiaming Li, Lingzhen Li, Xiaze Yang, Chenyu Zhu, Kaiqi Liu, Xiaotong Zhao, Songlian Li, Toyota Li, Alan Zhao, Haobin Zhong, Yue Ma, Zhiyuan Ma
cs.CV
2026-11-19
SpecWM 不另训模型,用 14B 的潜空间速度场给 1.3B 草稿打分,并直接把估计写回草稿。WBench 导航分从 75.99 升至 85.63,生成循环达到纯目标的 1.63 倍。
流式视频世界模型按用户的镜头动作往下接画面,同时还得保住画质、操控和响应。模型大,画面和轨迹更稳,每块却要跑完采样;模型小,出得快,画质和操控容易漂。
投机生成是小模型先起草、大模型再决定哪一块重画。SDVG 把草稿解成像素,用外部奖励决定留下还是整段重生成;文中的 SDVG-style 把这套路由接在同一对模型上。奖励只覆盖打分器自己的维度,解码和打分加在每块延迟上,分数也改不了草稿。被拒的块只能让目标模型完整重采样,起草省下的时间经常被吃掉。
SpecWM 免训练。草稿和目标都冻住,共用潜变量、块长和操控接口,条件是已提交的历史、当前镜头动作和初始图文。主实验用 LingBot-World 2.0 的因果快速版,草稿 1.3B,目标 14B,各做四段去噪。
去噪走 flow matching,也就是把噪声和干净潜变量连成直线来采样。噪声水平 σ 上的状态是两者的插值,网络预测速度场,减回去得到干净估计。SpecWM 只在最后一段问目标一次:草稿对齐到该噪声,14B 给出一份干净候选,它和草稿的相对 L1 就是校验分。候选可以直接提交,所以这一次探测就是一步修正。
两个阈值负责分流。WBench 用 20 条校准视频里「全接受」差距的第 70、90 百分位,定下 τ = 0.2381、τr = 0.2704。低于 τ 收下草稿,中间档修正,不低于 τr 则目标四步重画。
修正几步,看操控变不变。一步把观感打高,导航几乎不动;三步补回镜头跟随和轨迹,观感相对一步降下来。被分到修正的块里,切换处用三步,下一块两步,之后一步。一步修正不再额外去噪,更长的修正从更高噪声接上。连拒两次后,后面 4 块直接用目标写,不再起草,也不再探测。
校验当前块时,草稿并行写下一块。本块若被改掉,下一块按新历史重提。
Hy-Nomas 用同一套 8B,草稿 4 步、目标 8 步。末端探测和按切换分配步数不变,变的是采样预算。
主场是 WBench Navigation 全部 158 条:253 帧、16 fps、约 16 秒、16 块。NavScore 是导航精度和轨迹一致性的平均,HPSv3 是人类偏好分,表内分数都乘过 100。加速比是相对纯 14B 的生成循环墙钟,含回滚与通信,不含加载和解码。单模型 4 卡,重叠时 8 卡。路由 A/F/R/T 依次是接受、修正、重画、fallback 的块占比。
| 方法 | 加速 | HPSv3 | Imaging | NavScore | 路由 A/F/R/T |
| 纯目标 14B | 1.00× | 74.57 | 66.82 | 85.49 | — |
| 纯草稿 1.3B | 4.35× | 72.49 | 64.67 | 75.99 | — |
| SDVG-style | 1.42× | 73.98 | 66.04 | 75.92 | 68/0/32/0 |
| 全块修正一步 | 1.78× | 77.80 | 66.35 | 75.92 | 0/100/0/0 |
| 全块修正三步 | 1.10× | 74.26 | 66.38 | 85.17 | 0/100/0/0 |
| SpecWM 3→2→1 | 1.63× | 77.66 | 67.19 | 85.63 | 68/13/10/9 |
SpecWM 的 NavScore 为 85.63,对着目标的 85.49,比草稿的 75.99 高 9.64。HPSv3 从 74.57 升到 77.66,Imaging 从 66.82 升到 67.19。接受率与 SDVG-style 同为 68%,SDVG-style 有 32% 的块要整段重画。SpecWM 只修正 13%,整段重画加 fallback 合计 19%,加速从 1.42× 提到 1.63×。
全块一步的 HPSv3 为 77.80,加速 1.78×,NavScore 停在 75.92。全块三步 NavScore 到 85.17,HPSv3 掉到 74.26,加速剩 1.10×。去掉调度中的两步档,NavScore 从 85.63 掉到 81.49,Spatial 从 80.83 掉到 76.90,加速只到 1.67×。
去掉修正,加速 1.21×,NavScore 82.18。去掉重画,加速 2.07×,NavScore 80.46。比例相同的随机路由是 0.95×,NavScore 75.98,慢过纯目标。关掉 fallback 为 1.45×,关掉重叠为 1.29×。五块试点里,只验末段 1.5 秒,四段都验 4.4 秒;末段差距的最大最小比为 1.55,前两段为 1.22 和 1.30。
LongSpecBench 评测 80 条,509 帧、约 32 秒,含十到十二次转向和回访。SpecWM 加速 1.67×,回访一致性 76.56,目标 76.77,草稿 66.40。方向、响应、镜头跟随为 91.89、83.61、22.03,目标是 90.92、83.41、18.87。WMQ 为 72.41,目标 71.62,草稿 67.13。把速度折进 QES 后,SpecWM 70.32,草稿凭 4.26× 加速到 69.69。
Hy-Nomas 的人类评测里,对目标四项都是平局居多、胜负接近,对草稿和 SDVG-style 都是胜多于负。提示跟随(n=120,胜/平/负)对草稿 55.8/32.5/11.7,对目标 28.3/46.7/25.0,对 SDVG-style 43.3/44.2/12.5。相对偏好把平局算半分、最高归一到 100,四档为 100、94.23、52.44、42.33,高的两档是目标和 SpecWM。加速 1.33×,纯草稿约 2.09×,SDVG-style 约 1.29×。两边同权重,顺序执行。
交互看的是下一块的延迟。SpecWM 把 14B 的步数花在草稿和目标对不上的块上:小差距信任 1.3B,中间做一到三次更新,大差距才完整重画。潜空间和操控接口对齐就能用,不必再训一个学生模型。只剩一个网络时,改去噪步数也能配。
观感上,全块一步仍然更高也更快。导航上只是追平 14B,多出来的步数集中在镜头切换处。
两边必须共用潜变量、块长和操控接口。跨模型潜空间对齐还没做,任意两个视频模型拼不起来。
阈值是 20 条视频上的固定百分位,评测时不再动,主文也没有左右扫阈值的曲线。比例对、块选错时,随机路由的导航会退回草稿附近。
1.63× 和 1.67× 都是墙钟。LingBot 单模型 4 卡,重叠执行 8 卡。交互要的是响应时间,多一倍卡换更低延迟说得通;按卡时计,没有同卡数对照。Hy-Nomas 的 1.33× 同权重、顺序跑,这笔账更干净。
LongSpecBench 是自建的 80 条。镜头跟随绝对分挤在 16 到 22(满分 100,位姿来自 MegaSaM),领先大约 3 分,刻度很窄。NavScore 85.63 对 85.49 只是打平。
文末披露,写作、实验分析和研究代码用了 GPT。