DeltaWorld:一帧压缩成一个delta token,世界模型token省1024倍

gabriberton · x · 2026-09-25

Tommie Kerssies、Gabriele Berton 等人发布 DeltaWorld，一个基于 delta token 的高效生成式世界模型。其核心是 DeltaTok tokenizer：把视觉基础模型（VFM）在连续帧之间的特征差异编码成一个连续的“delta” token，从而将视频从三维时空表示降为一维时间序列——例如 512×512 帧可获得 1024 倍 token 压缩。这一紧凑表示使多假设训练变得可行：并行生成多个可能的未来，只对最优者施加监督，推理时单次前向即可输出多样化的合理未来预测。论文称在密集预测任务上 DeltaWorld 的未来预测比现有生成式世界模型更准，且计算成本大幅降低。