L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han, Yoonjin Yoon, Seungryong Kim
cs.CV
2026-10-30
每个 3D 高斯自带 VAE 隐变量,记忆随场景大小而非帧数增长,单图生成的可探索世界拿到 9 FPS 与最佳回环一致性。
交互式世界模型按用户动作逐段生成画面,长程探索后回到走过的地方,画面还对不对得上,以及这一切能不能实时,是 Genie 这类产品形态的核心难题。现有两条路线各卡一头。靠时序上下文的方法把历史帧或 KV cache(attention 的键值缓存)留在模型里,代价随生成长度线性涨:400 帧评测里 WorldKV 直接 OOM,Yume 1.5 峰值 66.7 GiB、总帧率 1.42 FPS。显式 3D 记忆的方法(点云或 3D Gaussian)空间锚定好,但前向式重建每帧都预测稠密基元再无限累积,同一区域反复堆冗余、渲染越走越慢;优化式重建紧凑,逐场景迭代慢到没法实时,ArtiFixer 只有 0.10 FPS。一致性和实时性对记忆的要求互相冲突,这篇的目标是两个都要。
框架叫 L3G-World,两个模块交替自回归:记忆更新器 L3G-Mem 和视频生成器 L3G-Gen。关键设计两个。
记忆只随场景大小增长,不随帧数增长。 L3G-Mem 先把上一轮 Gaussian 记忆按当前相机渲染出 opacity 图和 RGB 误差图:遮盖低的像素说明这块几何还没存过,误差高的说明存得不准,两类像素合成 spawn mask,只在这些区域用 K-means 从几何特征里初始化新 query,再解码成新 Gaussian。已经可见的 Gaussian 则取出对应 memory token,由精修头预测带门控的残差,原地更新参数。新加和精修两路 token 拼在一起过同一个 transformer,中间有全局 self-attention 让新旧内容交换信息。这样记忆是一个会被持续修订的场景表示,不是只进不出的缓冲区,早期重建的几何错误有机会被后续观测纠正。
每个 Gaussian 直接带一个 VAE 隐变量。 视频扩散模型工作在 VAE latent 空间,此前的方法要先渲染 RGB 再过一遍 VAE 编码器才能给 DiT 当条件,这步在实时管线里太贵。L3G 让每个 Gaussian 除了颜色还存一个 16 维 VAE 特征,用和 RGB 相同的 splatting 流程直接渲染到目标相机的 latent 空间,沿通道拼进噪声 latent 当条件。消融里这项效果最陡:去掉后 VAE 条件渲染从 943.6 FPS 掉到 2.97 FPS,渲染出的 latent 质量也同步变差(余弦相似度 0.782 对 0.467)。
底座方面,几何用 Depth Anything 3,视频底座是 Cosmos-Predict2.5-2B 加 LoRA 微调,再按 AnyFlow 的 flow-map 加 on-policy 蒸馏,把学生模型压到每个自回归步 4 次去噪、3 个 latent 帧。9 FPS 主要来自这套少步蒸馏。
DL3DV 上的核心对照(自建 481 帧回环轨迹:走出去再原路折返,比较同一位姿下两次生成帧的一致性):
| 方法 | 3D 基元数 (K) | 记忆占用 (MiB) | VAE 条件渲染 FPS | 回环 PSNR | FID |
| Lyra 2.0(点云,基线里最省) | 1,273 | 92.3 | 1.69 | 13.60 | 52.26 |
| NeoVerse(Gaussian) | 8,766 | 501.6 | 3.11 | 13.53 | 152.25 |
| Spatia | 9,647 | 220.8 | 0.08 | 13.96 | 89.39 |
| L3G-World | 11.9 | 40.1 | 1,086.6 | 16.00 | 40.57 |
整线指标(单张 H100,400 帧):峰值显存 7.4 GiB、9.02 FPS,是对比表里唯一标为 real-time 的方法;Yume 1.5 为 66.7 GiB / 1.42 FPS,NeoVerse 为 36.8 GiB / 1.99 FPS。质量侧,DL3DV 上 L3G-World 拿下 LPIPS、FID、主体一致性、背景一致性四项最佳,RealEstate10K 上同样四项最佳,回环 PSNR 18.36 也是最高。蒸馏版 L3G-World Fast 换来速度,回环 PSNR 从 16.00 降到 14.59,是明确的质量换速度。消融支撑了两个设计:去掉自适应 spawn,Gaussian 数量涨到约 1.8 倍且质量下降;去掉记忆精修,所有指标全线变差,说明「只累积不修订」的 3D 记忆撑不起长程一致性。
对做世界模型和可交互视频的团队,这篇给出的架构判断是:显式 3D 记忆不必在「稠密快但冗余」和「紧凑但慢」里二选一,前向更新加选择性 spawn 加残差精修,可以同时拿到 O(场景大小) 的记忆增长和实时读写。「把条件信号直接存成下游模型的 latent」这招也不限于 Gaussian,任何需要显式记忆喂 latent 扩散模型的系统都能用同一思路砍掉编码开销。9.02 FPS 比表内第二名快约 4.5 倍,离 30 FPS 的流畅交互仍有三倍差距,但已经跨进可交互的帧率区间,单卡可跑。
论文自己承认的:RealEstate10K 上相机控制(平移/旋转误差)和 MEt3R 几何一致性不及部分基线,DL3DV 上旋转误差也只是第二;附录 D 里与专用在线 3DGS 重建方法对比,低保真分辨率下重建质量不如 ReCoSplat,作者的定位是「够用的记忆」而非最强重建。读下来还有几处要留意:各方法评测分辨率不一致(这里 480×832,Yume 1.5 是 704×1280),直接横比质量有水分;481 帧回环协议是自建的,不是社区通用 benchmark;摘要里 38.6×、3.2× 这组倍数的分母是「各指标上最高效的基线」,从正文表格难以逐一复核,上面的表格原始数字更可靠。9.02 FPS 来自 H100,主表全部在 A100 上测,部署到消费级显卡还要打折。训练和评测都用 DL3DV 与 RealEstate10K 的真实漫步场景,控制信号只有相机轨迹,离带动作和物理的 Genie 式交互世界还有距离。