WorldFlow 世界模型联合预测视频与 3D 轨迹，SpatialCog 位移误差降 54.2%
Yuhao Lu · hf · 2026-11-03
WorldFlow 是一个生成式世界模型，联合预测未来视频与基于查询的 3D 轨迹，来自 RoboScience 与新加坡国立大学。
- 方法：将 3D 运动参数化为与视频网格对齐的连续位移 token，用统一的 Mixture-of-Transformers (MoT) 骨干在 rectified-flow 目标下联合去噪两种模态，把显式几何动态与视觉演化耦合，解锁预训练视频模型中的物理常识。
- 训练与评测：在 144 万条覆盖仿真与真实世界的物体级样本上训练；发布 WorldFlowBench（1,678 条评测样本，来自 11 个数据源，含空间推理任务）。
- 结果：在三套评测集上取得最低平均位移误差（ADE）与最终位移误差（FDE）；在 SpatialCog 上 ADE 达 0.060 m，比最强外部基线降低 54.2%，相比自身视频基础模型 ADE/FDE 分别降低 55.9% / 68.5%。
「多模态」频道最新
- 新藝術童話風繪圖提示詞走紅:流線+有機形+雙色配色模板 — LudovicCreator · 2026-11-03
- 单张照片转 3D 模型：8GB 显存可跑的免费 ComfyUI 工作流 — TheLocalLab · 2026-11-03
- H3 多角色一致性替换工作流：最多 4 角色自动组装 prompt — Cukidzsi · 2026-11-03
- Mago 开源桌面 AI 视频工作室：脚本到分镜到成片,跑在你自己的 GPU 上 — devdef · 2026-11-03
- Midjourney 实用 sref 风格码分享：微缩小人闯迷宫美学 — sergeantsref · 2026-11-03
- AI 生成「孙悟空学艺」短片爆火，毛猴质感与山水运镜惊艳 — lucky-plume · 2026-11-03