World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models
Junyi Wu, Zekun Li, Chenhongyi Yang, Chen Guo, Lingchen Yang, Yongan Zhang, Xinyi Zhang, Hongbing Hu, Bartek Rymkowski, Srinath Sridhar, Yan Yan, Xijie Huang
cs.CV, cs.AI, cs.MM
2026-10-13
World-T3按机位把滑出窗口的画面写入固定参数,回看PSNR从13.52升至18.31dB,单卡20.6FPS。
视频世界模型(video world model,按相机或动作把环境继续生成下去)短程已经能看。长程交互另有一件事:镜头转回去,早先见过的楼梯、窗框、灯柱还在。自回归视频扩散把这些内容放在自己的上下文里。窗口滑走之后,旧场景改由生成先验重新采样,局部仍连贯,地点已经换了。
显式 3D 再投影,或按相机检索历史帧,存储和注意力都随轨迹变长。固定数量的记忆 token 会把更早的观察越压越稀。World-T3 把看过的画面写进一组大小固定的参数,读写不跟 rollout 长度走。
工作来自 Meta Reality Labs、伊利诺伊大学芝加哥分校和 Brown,底座是 Wan2.2-TI2V-5B。训练数据 90.8 万段带相机标注的片段,其中 30.7 万段用来学再访:静态片段把轨迹折返,合成相机走闭合环线,两次经过之间会变的动态物体被去掉。自然视频很少原路返回,不造这种样本,模型学不会「回去还是那一处」。
双向教师先学相机控制。相机写成 Plücker 射线图,每个像素 6 个数,含方向以及原点与方向的叉积,位姿全部相对首帧。同一机位得到同一张图,记忆就用它当钥匙。射线图经自适应 LayerNorm 注入每个 DiT block,注意力和前馈只训练 rank 256 的 LoRA,其余骨干冻结。这一段整段一起看,几何先验比较稳,序列却不是因果的,不能边走边生成。
第二段改成块因果自回归。每块 3 个潜帧。上下文是永不驱逐的第一块,加上最近的干净块,窗口一共 21 个潜帧,第一块用来锚外观。滑出窗口的块进入测试时训练记忆。测试时训练(test-time training,TTT)指推理时更新少量权重,把新观察收进参数。
每一层一个两层 MLP。键只有射线图,值是干净隐状态,扩散噪声不进记忆。W1 固定,把位姿映到 gelu 特征;W2 在线更新,是存放场景的快权重(fast weights,生成期间改写、专门用来记东西的参数)。
平滑运镜让相邻位姿键几乎共线。按梯度去写,占优的方向会被反复加强,新内容进不去。递归最小二乘(recursive least squares,RLS)改为在线解一个加权岭回归:逆相关矩阵把新键白化,W2 只写入还没覆盖的残差,正则取 1e-3。每一步都是该目标的精确解,记忆与写入顺序无关。读取时用目标机位查询,再经逐通道门控加回隐状态。上线后骨干和 W1 冻结,只更新 W2 和逆相关状态,不再对扩散网络反传。窗口一旦满,单步成本不再随已生成长度增长。
第三段解决帧率。第二段每块仍要数十步去噪。一致性蒸馏先收到 4 步,双教师分布匹配蒸馏(distribution matching distillation,DMD,用教师和打分网络的分数差把学生贴向教师)再把质量拉回来。双向教师管短程画质和运动,带记忆的教师管长程空间一致,各配一个 critic,也就是在学生样本上训练的打分网络。算记忆梯度之前,两边的快权重按学生自己的 rollout 填好,罚的是学生在自己轨迹上的漂移。前 399 次迭代只用双向教师,之后两路一起。
折返集 120 段,来自留出测试集。每段 160 帧、10 秒、16 FPS、1280×704,第 80 帧起原路返回。评分帧对相隔 24 到 36 个潜帧,全部长过 21 潜帧的窗口。起始帧、文本和 6-DoF 轨迹相同,不做事后对齐。语义相似度是去程与回程 DINOv2 特征的余弦相似度,回看 PSNR 相对真值画面。
| 方法 | 回看 PSNR | 语义相似度 | 旋转误差 | FPS | 显存 |
| SANA-WM | 13.52 dB | 0.9200 | 3.344° | 14.2 | 48 GB |
| HY-World 1.5 | 10.84 dB | 0.8563 | 12.864° | 4.5 | 110 GB |
| Matrix-Game 3.0 | 11.15 dB | 0.8225 | 11.179° | 7.1 | 76 GB |
| DreamX-AR | 11.66 dB | 0.8768 | 8.011° | 11.0 | 76 GB |
| LingBot-Fast | 10.59 dB | 0.8580 | 9.817° | 1.6 | 144 GB |
| World-T3 50 步 | 16.69 dB | 0.9476 | 1.308° | 4.4 | 54 GB |
| World-T3 4 步 | 18.31 dB | 0.9610 | 1.075° | 20.6 | 54 GB |
SANA-WM 用 4 步去噪加 3 步细化,是外部基线里回看最强的;其余基线 3 到 4 步。4 步 World-T3 相对它,DINOv2 距离从 0.0800 降到 0.0390,PSNR 提高 4.79 dB,绝对旋转误差从 3.344° 降到 1.075°,相机矩阵误差从 0.1200 降到 0.0318。111/120 段距离更低,112/120 段 PSNR 更高,96/120 段两项同时超过全部外部基线。去程对回程的 SSIM 从 0.4704 升到 0.7201,LPIPS 从 0.3805 降到 0.1278。HY-World 1.5 首次访问的特征距离约 0.028,和学生接近,折返涨到 0.1867;学生的折返距离是 0.0499。
相对 50 步教师,学生的回看 PSNR 在 91/120 段更高,从 16.69 dB 升到 18.31 dB,四项相机指标没有显著差别(p 在 0.14 到 0.36)。VBench 从 75.15 降到 74.52,相邻帧记忆分从 0.9442 降到 0.9258。学生成像质量 71.46,HY-World 1.5 为 76.29;后者 VBench 75.32,是基线里最高的,回看 PSNR 只有 10.84 dB。VAE 解码真值的 VBench 是 75.69,论文指出这项分数量的是风格化锐度,和到真值的像素距离是两回事。学生第一次到达该机位时 PSNR 19.99 dB,折返掉 1.68 dB。
按偏航幅度分成三档,每档 40 段。学生语义相似度维持在 0.9582、0.9644、0.9603。Matrix-Game 3.0 从 0.8743 掉到 0.7737。最大扫掠档的旋转误差,学生 1.288°,50 步教师 2.241°,SANA-WM 4.316°,其余基线在 11.075° 到 15.477°。
单张 NVIDIA B200 上,记忆在线更新,4 步模型端到端 20.6 FPS,峰值显存 54 GB,表中唯一超过 16 FPS。50 步教师 4.4 FPS,显存同样是 54 GB。真值视频过同一套位姿估计,旋转误差仍有 0.194°,这是估计器底噪。
人会把镜头转回去。窗口一过就重画,场景里没有可返回的地点。快权重把记忆和上下文长度拆开:窗口有上界,参数体积不随会话变长。长会话不用再靠把 KV 缓存无限加长。
1280×704、20.6 FPS、单卡,是这五个近期世界模型里唯一过播放帧率的。步数从 50 收到 4,回看 PSNR 还从 16.69 dB 升到 18.31 dB。让出的大约 0.6 分 VBench。要走回去仍是原场景,这笔交换划算;HY-World 1.5 的观感分更高,折返几乎没记住。测试时训练当记忆已有先例。这篇补的是最小二乘写入,挡住平滑运镜反复加强同一方向,再用双教师把这份记忆留在 4 步学生里。跑到 20.6 FPS 的机器是单张 B200,峰值 54 GB。
论文没有单独的局限章节。它写出的交换是,蒸馏后 VBench 和相邻帧分数下降,符号检验支持 Matrix-Game 3.0 与 HY-World 1.5 在画质上胜过 4 步学生。
定量折返只有 10 秒、120 段,且来自他们自己的留出集。轨迹预先给定,没有覆盖人手自由操作。附录里的 30 秒真实运镜是定性对比,回访机位只是大致重合。再访训练靠静态片段回放,动态物体被排除。RLS 的解与写入顺序无关,记一张不会动的地图说得通。物体若会移动,后一次观察应当盖过前一次,顺序无关就偏了。键里只有机位,同一视角上已经改变的内容,记忆分不开。
主表没有对照显式 3D、历史帧检索或 token 记忆,相关工作点了这些路线,数字里看不到。容量不随长度增长在结构上成立,W2 和逆相关矩阵的形状固定,上下文窗口有界。几分钟后误差会不会饱和,没有曲线。回看 PSNR 同时惩罚外观变化和相机没走到,18.31 dB 不能单独当成纹理有多真。语义相似度 0.9610,真值自相似是 0.9982。