UCSC 团队发布 ALPS：一个视觉编码器同时服务物理状态、语言与像素

UCSC-VLAA · hf · 2026-10-22

UCSC-VLAA 与 Google、UCSB 团队提出 ALPS，一种面向世界模型的预训练视觉状态编码器，统一三种接口：物理状态预测、语言对齐和像素重建。

现有编码器各有短板：空间/自监督编码器（TIPsv2、DINOv3 等）擅长状态探测但缺语言能力，图文编码器（CLIP、SigLIP 等）反之。ALPS 作为共享基础，在相对探测误差、Flickr30k 图文检索和像素重建三类指标上同时取得有竞争力的表现，面向机器人与世界模型应用，代码与权重开源。