PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
Chuhao Chen, Peter Wonka, Chaoyang Wang, Chen Wang, Qiao Feng, Sergey Tulyakov, Lingjie Liu
cs.CV, cs.AI, cs.GR
2026-09-16
PhysStream在生成中途用稀疏速度增量控制桌面刚体，并反馈在线位置图与追踪图。合成集上FVMD比最强基线低约33%，野外人类偏好超过85%。
可控视频生成已经能吃深度、光流、拖拽轨迹、力这些条件，但大多数方法要求开拍前把整段控制时间表写死，整段一次性出完。用户没法看着已经生成的几帧，再决定下一步推哪个物体。另一类方法用像素轨迹直接指定物体位置，模型学的是跟路径，不是动力学。
宾夕法尼亚大学和 Snap 的 PhysStream 想同时满足四件事：控制信号要稀疏、要编码物理量、要能在生成中途改、要能对准多物体场景里的单个物体。同期的 RealWonder 四项都沾边，但交互走外部三维重建加物理引擎，重建状态会和画面分叉，没建模的背景物体也进不了碰撞。
主干是 Wan2.2-TI2V-5B。用户给出稀疏的速度增量：在选定帧给某个刚体一个相机系三维 Δv，画在该物体第一帧的 mask 上，中性值表示不变。锚在第一帧是为了堵住双向注意力的泄漏。若把速度画在物体当前位置，双向训练会从条件通道偷看未来轨迹，接到因果阶段时分布会断。
第二组条件是在线场景记忆。每提交一帧潜变量，解码出像素后用 Depth-Anything-3 估度量深度并反投影成归一化位置图，用 SAM2 从第一帧 mask 往前传得到调色板物体追踪图。两张图都只来自已生成内容，再经一帧时间平移后与噪声潜变量通道拼接，因果注意力看不到当前帧自己的几何。
训练拆两段，因为速度条件、场景记忆、双向改因果这三处分布偏移不能一次学完。第一段只让双向模型吃速度增量。第二段改成因果 Teacher-Forcing，并加上场景记忆。新条件的 patch 分支零初始化，开训时数值上等于原骨干。数据是约 10 万段室内桌面刚体视频：SAGE 场景、PyBullet 多体、Blender 渲染，每段 49 帧、832×480。
合成基准分两组，各 64 条。多物体交互组里，运动分布距离 FVMD 从最强基线 RealWonder 的 1183 降到 787，约 33%；轨迹误差 Traj-ADE 从最强的 FlashMotion 45.67 降到 40.24，约 12%。FlashMotion 和 Tora 还吃了整段真值质心轨迹，RealWonder 跳过重建直接用真值场景。野外 20 张图上，GPT-4o 的物理常识分 4.15（满分 5），人类偏好物理 / 运动 / 画面为 91.8% / 88.4% / 91.2%。
| 方法 | FVMD ↓ | Traj-ADE ↓ | 失败率 ↓ |
| Tora（真值轨迹） | 1463 | 66.79 | 72.00 |
| FlashMotion（真值轨迹） | 3751 | 45.67 | 44.28 |
| RealWonder（真值场景） | 1183 | 60.91 | 64.78 |
| PhysStream | 787.0 | 40.24 | 43.15 |
消融里，只有带追踪图的配置能跑完瓷盘折线撞花瓶；位置图在深度位移最大的 10% 物体上把 Traj-ADE 再压 15.5%。训练窗口 49 帧，长程测到 301 帧：1–100 帧响应率 100%、方向准确率 95.2%，201 帧之后外观漂了，控制还在（响应 87.7%、准确率 73.7%）。未加速在单张 B6000 上 49 帧要 66.3 秒（0.74 FPS）；蒸馏加小深度模型可到 2.54 FPS。
交互视频控制如果只能预先铺轨迹，就更像后期合成，不像边看边玩。PhysStream 把控制留在生成画面上，不另开一套会漂的模拟器。对做世界模型、桌面操作演示的人，稀疏速度增量比密光流好画，也更接近「推一下」。
它还远不是实时物理引擎。未加速不到 1 FPS，验证场景几乎全是静相机桌面刚体。
作者承认：极复杂运动尤其翻滚仍然差，主体范围是刚体，布料和弹球要再微调约 1 万段、5 千步。实时留给以后。合成测试集只有 64 条，野外人类偏好也只有 20 张图，基线还被加强过。一致性指标会被「几乎不动」的视频刷高，论文自己用图说明了这一点，所以 FVMD 和轨迹误差比 VBench 更可信。Teacher-Forcing 用真值历史，推理用自己的帧，长程外观漂是结构问题，不是调参能消掉的。