ALPS: Visual State Encoders for World Models
Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie
cs.CV
2026-10-22
ALPS只用静图和文本从零预训练ViT-B，同一套patch token同时读出物理状态、对齐语言并还原像素，冻结后LIBERO平均策略成功率85.5%，并在状态探针上追平大3.5倍的V-JEPA 2。
世界模型靠冻结的视觉 token 预测场景如何随动作变化，再据此规划。token 里没有物体位置和状态，少量交互数据就学不会动力学。另外两个接口经常被拆开：对上语言，指令才能指到场景；解回像素，观测和想象中的未来才检查得了。
公开编码器通常只强一两项。DINOv2、DINOv3、C-RADIOv3 空间特征好，不少没有文本塔。CLIP、SigLIP 2、PE-Core 语言对齐强，状态读出差一截。MAE、VC-1 留得住像素，状态探针偏弱。同一套跨视角精炼加到 SigLIP 2 和 CLIP 上，状态上升，ImageNet 零样本和检索下降 4 到 12 个点。
ALPS 是从零训练的 ViT-B/16，数据只有静图和文本，没有视频，也没有机器人交互。
第一阶段在 DataComp-1B 上用四个损失监督同一组 patch token：对比对齐网页标题和合成描述中的一句，自回归生成整段字幕，用 ℓ1、结构相似度和梯度重建像素，以及跨裁剪、翻转的稠密对应。合成描述来自冻结的 LLaVA-LLaMA-3 标题器，其视觉骨干是 CLIP ViT-L/14，外部知识只经文字进入。先以 128 分辨率训练 128 亿样本，再以 224 分辨率训练 10 亿样本。留下图像编码器、文本塔和线性投影。
第二阶段把第一阶段权重复制为冻结教师。教师看占画面 40% 到 100% 的干净裁剪，学生一半概率看 10% 到 40% 的局部裁剪，一半看带光度增强的全局裁剪，去预测教师在对应位置上、按通道标准化的 token。几何查询提供位置和两个裁剪的边长比。只有中心落在学生视野内的 patch 计入损失。这不是去补被挡住的区域，而是让局部 token 在裁剪、尺度和外观变化下仍贴住第一阶段的表示。500 万张图取自公开图像编辑集的单张画面，编辑对和指令不进损失。预测器训完即弃。
语言向量先对每个 patch token 做线性投影，再平均池化。投影与池化可交换，局部均值为零的更新会在池化里抵消。SigLIP 2 用非线性注意力池化，CLIP 读 class token，同样的更新会进入语言向量。
十五个编码器全部冻结。状态探针约 250 万参数，读最近 16 帧，在 LIBERO-Object 和 LIBERO-Spatial 上估计可动物体的位置、朝向，以及是否叠放、是否在容器内；预测时再输入未来 1 秒或 3 秒的动作。下表状态误差相对 ALPS 第一阶段，记为 1。
| 方法 | 指标 | 结果 |
| ALPS (ViT-B) | 状态探针相对误差，六项平均 | 0.829 |
| C-RADIOv3-B / DINOv3-B | 同上 | 0.864 / 0.870 |
| V-JEPA 2-L | 同上，约 3.5 倍参数 | 0.829 |
| SigLIP 2-B / PE-Core-B | 同上 | 1.160 / 1.170 |
| ALPS | Flickr30k 图到文 R@1 / ImageNet 零样本 | 93.2 / 73.4 |
| OpenVision-B / PE-Core-B | 这两项的 ViT-B 最高值 | 94.5 / 78.4 |
| ALPS | 冻结 token 重建 ℓ1 | 0.120 |
| OpenVision 3-B / MAE-B | 同上 | 0.104 / 0.109 |
| ALPS + 自带文本塔 | LIBERO 平均策略成功率 | 85.5% |
| SigLIP 2 + 自带文本塔 | 同上 | 84.8% |
总分与 V-JEPA 2-L 相同，分项相反：当前状态 0.842 对 0.741，3 秒预测 0.813 对 0.904。位移物体上 ALPS 平均 3.22 cm，落在 3.04–3.25 cm 这一档。相对 SigLIP 2 与 PE-Core，总误差低约 29%。测过的中间层里，最低测试误差是 PE-Core 第 8 块的 0.985，仍高于 0.829。没有任何对照编码器在状态、语言、像素三项上同时更好。
四项检索都距各自最佳不超过 2 分。ImageNet 零样本 73.4，低 PE-Core 5.0 分，合成长描述和短类名的分布不同。C-RADIOv3、DINOv3 的 ℓ1 为 0.161 和 0.196。专门重建的三家在 0.104 到 0.109，状态误差高出 14% 到 22%。轻量解码器下 C-RADIOv3 的 LPIPS 略好，0.359 对 0.372；更强解码器下 ALPS 的 ℓ1 为 0.107，比 0.141 低约 24%。
第二阶段把状态误差降 17%，检索最多动 0.5 分，ImageNet 大约降 1 分，ℓ1 从 0.112 到 0.120。同一配方下 SigLIP 2 的 Flickr30k 图到文掉 7.5、COCO 掉 11.4，CLIP 的 ImageNet、Flickr30k、COCO 掉 10.2、10.9、11.8。学习率从 1e-5 降到 3e-6 后，SigLIP 2 状态误差同样相对降 17%（到 0.959），检索仍多掉 2.3 和 2.9 分。改用 DataComp 网页图精炼，误差为 0.886，不如编辑数据的 0.829。
冻结 token 上做行为克隆，每任务 50 条示教。BERT 指令下 ALPS 平均 83.4%，高于 SigLIP 2 的 81.4%、DINOv3 的 79.0% 和 C-RADIOv3 的 78.2%，Spatial 从 76.8% 升到 86.5%。自带文本塔的主表结果是 85.5%（Long 78.5%、Goal 87.4%、Spatial 82.6%、Object 93.7%），SigLIP 2 为 84.8%。三次独立训练里，文本塔平均 85.2%，BERT 为 82.1%。
规划对每个编码器训练同一个动力学预测器。PushT 成功率 90%，与 C-RADIOv3 并列，终点距离 23.4，差于对方的 20.2。Wall 成功率 92%，与 DINOv2 并列，距离 3.21，这一列最好。Granular 评了 10 个目标，Chamfer 距离从 0.324 降到 0.176。PointMaze 全部解出。Rope 的 Chamfer 为 0.750，差于 C-RADIOv3 的 0.558；Reacher 成功率 78.7%，差于 DINOv3 的 86.0%。五步预测误差相对第一阶段下降 28%、17%、13%、11%，依次是 PushT、Reacher、Granular、Rope。PushT 上把预测 token 画回像素，五步 LPIPS 为 0.020，C-RADIOv3 为 0.018。
十分之一预算下，去掉重建会使 ℓ1 从 0.113 升到 0.194 或 0.200，状态误差降 8.5%。去掉稠密对应后，跨视角 patch 匹配从 37.4% 降到 31.4%，全局指标几乎不动。
同一组冻结 token 可以接指令、接动力学，再把预测帧画出来检查。文本塔用来替换 BERT，解码器只在真实帧上训练，不参加规划。DINO-WM 那种冻住编码器、只训动力学的流程，可以直接换上这个骨干。
领先幅度小。状态误差打平一个大 3.5 倍的视频模型，策略只比 SigLIP 2 高 0.7 个点，规划有胜有负。适合同时要这三路接口的系统。专门的重建模型或视频编码器在单项上仍然更强。
实验停在 ViT-B/16 和仿真，更大尺度与真机没有做。重建、语言和状态的平衡依赖两阶段课程，收成一个阶段仍未验证。预训练没有视频，对细粒度时间动作不敏感，DAVIS 视频物体分割虽从 0.456 升到 0.533。语言条件的控制与世界模型规划分开测，三种接口还没有放进同一个规划器。
位移物体 3.22 cm 与最强空间模型的 3.04–3.25 cm 重叠。物体大多静止，把当前真值位置抄到未来，1 秒和 3 秒的整体误差已有 1.5 到 4.8 cm；动起来的物体则是 12.8 到 31.6 cm，受测编码器都能压到 6 cm 以内。第二阶段用的是物体居中的编辑图，换 DataComp 网页图会到 0.886。规划对所有编码器共用一套设置，PushT 成功率并列时终点更远。重建先把 token 映到冻结的 SDXL 潜变量，测的是轻量探针能找回的细节。V-JEPA 2 输入 16 帧、256 分辨率的视频，其余模型以 224 的静图编码器参加，协议并不完全相同。