Honeycomb: Constant-Size Scene Memory Representation for Video World Models
Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, Yufeng Weng, Keane Ong, Ruojin Cai, Hang Hua, Justin K. W. Yeoh, Mengyu Wang
cs.CV
2026-09-29
Honeycomb 把视频世界模型的场景记忆压进六张固定平面,存储和写入耗时恒定,重访光流误差 3.00 px(Spatia 为 6.64)。
视频世界模型按相机轨迹生成画面,短片段好做,长程难做。相机绕一圈回到起点,房间布局和家具外观理应对得上开头的帧,但生成器的时间上下文有限,早期观测早已滚出窗口,只靠最近几帧找不回来。主流做法是把观测存进显式空间记忆:Spatia 维护一张可更新的 RGB 点云,LSM-World 缓存挂在 3D 点上的 diffusion latent(扩散模型的中间特征)。两边都有效,也都随生成不断长大。Honeycomb(Harvard、NUS、MIT、MIT-IBM Watson AI Lab 合作,代码开源)把问题换成:记忆固定大小,重访时还认得出场景吗。
核心是 HexMemory,把场景特征拆成六张固定大小的 2D 特征平面:XY、XZ、YZ 三张空间平面,加 XT、YT、ZT 三张时空平面。这套低秩分解借自 HexPlane,不过 HexPlane 原本对每个场景单独梯度下降拟合,这里换成一个跨场景共享、前馈运行的写入器。生成按重叠 chunk 自回归推进,每 chunk 33 帧、704×1280。
流水线三步循环:
设计上有三个点拆开说。点属性(latent token、相机中心、光线方向、写入时间)经小网络映射成每张平面的贡献,再双线性撒到相邻四格;累积的插值权重充当置信度,决定融合时新旧谁说了算;训练只有一个 latent 重建损失,writer、融合网络、reader 联合优化,逼着平面特征留住重访要用的信息。写入时不剔除动态物体和天空,这点与 Spatia、LSM-World 相反。
WorldScore(3000 条图生视频样本,评测时不做动态物体过滤)总评 68.01,Spatia 63.21,LSM-World 61.20,通用视频模型里最强的 Wan2.1 是 55.21。
| 设置 | 方法 | 指标 | 结果 |
| RealEstate10K 新视角合成 | Honeycomb / Spatia | PSNR | 18.45 dB / 15.58 dB(LSM-World 17.46) |
| RealEstate10K 新视角合成 | Honeycomb / Spatia | LPIPS | 0.274 / 0.390 |
| WorldScore 闭环重访 | Honeycomb / 次优 Voyager | PSNR | 17.22 dB,高出 1.23 dB |
| WorldScore 闭环重访 | Honeycomb / Spatia | 光流误差 | 3.00 px / 6.64 px |
| 写入耗时 | 循环写入 / 逐场景优化 | 每 chunk | 约 13 ms 恒定 / 约 3.2 s,慢约 240 倍 |
消融把账算得更细。平面分辨率从 512 降到 256,存储 73.9 MB 缩到 19.8 MB(省 73%),闭环 PSNR 只掉 0.12 dB;压到 128(5.8 MB)掉 0.45 dB。写入方式对比中,每个 chunk 从全部观测重建平面的做法质量相当(17.16 对 17.22),但耗时随 rollout 增长,第 9 个 chunk 要 40 ms,循环写入恒定在 13 ms;逐场景直接优化质量略高(17.44),写入慢约 240 倍。
做长程生成和交互式世界模型的人拿到两个别的方案没有的性质:存储和写入耗时都不随场景规模增长。19.8 MB 换 0.12 dB,容量与质量的交换曲线平缓,低秩平面装场景信息装得住。六张平面还能直接可视化,走廊和楼梯的结构在特征图上看得清,比盯点云缓存好调试。定性地说,这是一次架构层面的收敛,不是原理突破:HexPlane 的分解早已有之,贡献在把它改造成前馈、可循环更新、与 diffusion 生成器联合训练的形态。
论文自己承认:范围扩大后固定网格覆盖更大的时空范围,分辨率变粗。恒定大小自带容量天花板,消融只跑到第 9 个 chunk,更长的 rollout 没有数据。WorldScore 的 Subject Const 只有 46.28,低于 Wan2.1 的 77.18,也略低于 Spatia 的 46.66,动态主体一致性是短板,与不做动态过滤的写入策略可能互为因果。深度和位姿全靠单目估计(ViPE 加 Depth Anything 3),估计误差会直接写进记忆,误差如何随 rollout 累积没有分析。训练和评测都在 RealEstate10K 的房产视频上,换域效果未知。直接优化比前馈写入还高 0.22 dB,240 倍的速度是用一点质量换来的。