WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State
Xiaoxiao Ma, Weiyang Jin, Yanwen Ma, Haoran Li, Zhixiang Wei, Songchun Zhang, Yaowei Li, Junhao Zhuang, Zeyue Xue, Yuming Li, Zheming Fu, Haoyang Huang, Nan Duan, Feng Zhao
cs.CV, cs.GR
2026-10-21
中科大与京东用层级 LLM 规划加确定性代码做出可无限流式扩展的 3D 世界,语言交互准确率 95%,重访编辑不丢。
世界模型眼下有两条路线,各缺一半。学习式生成模型能从玩家动作渲染出连贯画面,一致性时程也越拉越长,但状态存在帧和 latent 里:没有持久的地点标识,一块区域从显存里挤掉后只能重新合成,也没法指着场景里某个物体说「把它改了」。程序化与代码驱动的 3D 系统正相反,场景显式、每个物体可查可改,但生成成本要在开玩前一次付清,场景范围预先定死,回答不了「无边世界下一步该准备哪块、卸载之后该留下什么」。
开放探索要求三件事同时成立:地图无限延伸且每帧成本不随探索面积增长;开放语言能对准当前存在的实体与地形生效,包括还没生成的区域;旧地重访时连同用户的修改一起还原。WorldStream(中国科大与京东 Joy Future Academy)就是按这三条要求设计的流式运行时。
核心思路是把「想」和「造」拆开,两边共享同一份持久状态。
世界切成固定大小的 tile。每个 tile 持有一份记录:地理证据、已接受的语义规划、与邻块的边界承诺、物体状态、用户编辑、单调递增的版本号、生成器版本。画面几何只是这份记录的编译产物,驱逐只删几何,编辑只涨版本号,重访时重新编译即还原。
规划分两级。Macro 读区域级的起伏、水系、海岸线和已接受的邻接状态,定下聚落梯度、生态结构、交通走廊与水系组织;Micro 把这份区域契约落成具体 tile 的语义角色、边界连接、设施锚点和生成器参数。两级缺一不可:只看局部证据,tile 之间地形兼容但区域上互不相关;只有区域规划,结构怎么跨过每条局部边界就没有答案。消融把这两种失败都复现了。
决策模型(文中称 Jev)对每个类型化字段返回一个首选值加候选分布。关键一步是联合求解:在可行集合里搜一个联合指派,最大化概率总和加跨块一致性项,同时满足地形、水域、Macro 角色与邻接约束。规划在几何动工前就被证明可执行;逐字段独立取最高概率会废掉 63% 的规划,这是全文最硬的数字。
执行交给确定性本地代码。地形、道路、聚落、植被、实体全部从已接受的规划编译出来,规范的路面端口加连续的高程与水域采样,让各 tile 独立编译也能无缝相接。一个模型决策可以支配大量具体物体,坐标与几何约束由代码确定性解出。
流式部分是双前沿。语义前沿沿速度预测的走廊提前规划,再补相机朝向的投机候选;实现前沿只编译即将进入活动区的 tile;玩家身后的几何释放。规划与建造预算分别封顶,优先级按预测到达时间排。异步一致性靠三个机制:共享边界记录、与调度顺序无关的规划键、后台任务携带版本戳,过期结果直接丢弃。
语言交互读写同一份记录:对现有实体下指令,包括会更新自身状态的有状态 NPC;编辑当前区域,复用同一套编译管线;给未规划区域挂意图,留作后续规划的输入。提交走乐观规则,版本不匹配或目标已失效就拒绝。
| 实验 | 对照 | 结果 |
| 规划可执行率 | 独立解码 37% | 联合求解 100%(100 组模型分布) |
| 语言指令落地 | 80 条双语请求 | 76 条正确(95.0%),失分集中在时间与空间范围 |
| 4 km 路线总等待 | 无预取与仅语义预取(数值见论文图 8) | 方向性预取降到 3.52 s(100 次重放) |
| 相邻 tile 开发度跳变 | 去 Micro 邻域上下文 0.361 | 完整层级 0.089,建筑数从 2686 收敛到 250 |
| 密林 tile 编译 | 优化前 10.78 s | 3.32 s,提速 3.24 倍 |
逐项看,独立解码最弱的是生态匹配(55%)和地形(69%),联合求解把每项约束都拉到 100%。层级消融里,Micro-only 变体聚不起用户要求的城市,发布内容为零。语言侧,无动作请求与不可用目标两类全对,没有乱替实体。工程侧,持久 worker 进程替代编译线程后吞吐从 0.234 升到 0.464 tile/s;12 个新发布 tile 平均编译 2.134 s,最慢 3.318 s。
对做交互式 3D 环境(游戏、具身仿真、内容工具)的人,这套架构把三件通常缠在一起的事拆成可独立演进的接口:规划写意图,生成器做实现,渲染只是瞬时视图。想升级画面保真度,论文展望里明确给了外接流式视觉解码器的路线,状态管理不用推倒重来。更可迁移的结论是:结构化输出不等于可执行输出,63% 这个数字适用于一切「用 LLM 产结构化配置喂下游系统」的管线,联合约束求解是必要步骤。项目页与代码已公开。
作者自己交代:规划消融每个变体只跑一次完整运行,没估计模型采样方差;预取评测只测后端 tile 就绪,不含浏览器端安装;交互 benchmark 只测语言解释,没隔离完整的「编辑、驱逐、重访」闭环;生成词表有界,地形与生态合理性靠人工规则;长期世界的记录存储策略、活跃区外动态角色的仿真策略都没做。读下来再补几条:渲染是 Three.js 低多边形,画面保真度与生成式世界模型不在一个量级;全部评测是自消融,没有和任何学习式或程序化基线正面比;决策模型的单 tile 规划延迟与调用成本未披露;4 km 固定路线加 3×3 必需邻域是个很窄的流式测试面;80 条语言请求是自建集合。