UCSC 等发布 ALPS 编码器：一套视觉 token 统一状态、语言与像素
cihangxie · x · 2026-10-23
UC Santa Cruz 联合 Google 与 UCSB 发布 ALPS（A Language-aligned, Pixel-renderable State encoder），面向世界模型的视觉状态编码器，将物理状态、语言对齐和像素重建统一在同一组 patch token 中，仅用图像和文本从头预训练。
关键结果：
- 状态预测：LIBERO state-probe 误差 0.829（相对值），在 ViT-B 编码器中最低，追平参数量大 3.5 倍的 V-JEPA 2-L。
- 语言：Flickr30k 图文检索 R@1 达 93.2，与最佳图文编码器差距在 2 分以内。
- 像素：重建 ℒ1 误差 0.120，低于所有未做重建训练的对比编码器。
- 没有任何一个对比编码器能在这三项上全面超过 ALPS。
论文、代码与权重均已开源，核心主张是世界模型的视觉基础应同时支持预测（state）、指令（language）与检视（pixels）三种接口。
所属事件:UCSC 联合 Google 发布 ALPS 视觉编码器(3 条相关)→
「具身」频道最新
- 小鹏 IRON 演示无语音交互:每 0.2 秒重推断预判人的动作 — CyberRobooo · 2026-10-23
- 人形机器人切黄瓜视频被拆穿：背景人物 2 倍速放大了「抖动」 — jonstephens85 · 2026-10-23
- Motoniq 让 VLA「反思自己的思考」：Perturbed LIBERO 成功率 92% 远超对手 — hbouammar · 2026-10-23
- OpenTac CAD:上传 3D 模型 3 秒自动布线触觉传感器电路 — anand_bhattad · 2026-10-23
- 宇树科技自办机器人大会规模惊人，现场机器人数量堪比顶级学术会议 — micoolcho · 2026-10-23
- 机器人拳击赛事登陆欧洲，多所欧盟大学将组队开打 — lukas_m_ziegler · 2026-10-23