UCSC 发布世界模型编码器 ALPS：一套 token 兼顾状态、语言与像素
yuyinzhou_cs · x · 2026-10-23
UC Santa Cruz 团队（Google 参与）发布 ALPS（A Language-aligned, Pixel-renderable State encoder），面向世界模型的视觉基础编码器。多数世界模型在冻结视觉编码器的 token 空间规划，编码器决定了模型“能看到什么”，而现有编码器通常只在状态、语言、像素三者之一上强。
- 设计：仅用图像+文本从头预训练一个 ViT-B（无视频、无机器人数据），把状态信息、语言对齐、像素重建统一进同一组 patch token
- 状态：LIBERO state-probe 误差 .829，ViT-B 中最低，追平 3.5 倍大的 V-JEPA 2-L（.829）
- 语言：Flickr30k 图→文 R@1 达 93.2，接近最强图文编码器（OpenVision 94.5）
- 像素：重建 ℓ1 .120，优于所有未做重建训练的对比编码器
- 冻结编码器下：LIBERO 策略平均成功率 85.5%（对比中最佳），PushT/Wall/Granular 规划最佳或并列最佳
- 跨视角精炼使状态探测误差再降 17%，检索变化 ≤0.5 分
所属事件:UCSC 联合 Google 发布视觉编码器 ALPS(4 条相关)→
「具身」频道最新
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- MIT CSAIL 推出 X-Hinges：3D 打印内置传感的自感知物件 — MIT News AI · 2026-10-23
- 机器人公司 Formic 融 5000 万美元 B 轮，已覆盖 100+ 工厂 — garrytan · 2026-10-23
- fal 团队开始微调实体机器人，教它学画画下周出结果 — OdinLovis · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 科罗拉多大学 ATLAS 研究所招软体机器人方向助理教授 — ryosuzk · 2026-10-23