ALPS:统一语言、重建与空间对应的视觉状态编码器,LIBERO 成功率 85.5%
yuyinzhou_cs · x · 2026-10-23
- 论文提出 ALPS,一个面向世界模型的预训练视觉状态编码器,主张视觉表征应同时具备物理状态信息、原生语言对齐与像素重建三种能力,而现有编码器通常只专精其一两种。
- 方法:仅用静态图像与文本,从零预训练 ViT-B/16,结合语言、重建与空间对应目标,再经跨视图自蒸馏精炼。
- 结果:
- 在 15 个公开编码器的统一评测中,ALPS 取得 ViT-B 级最低的 LIBERO 状态探针聚合误差,可比肩 3.5 倍大的 V-JEPA 2-L;
- 冻结 ALPS tokens 配合原生文本塔在 LIBERO 上达到最高平均策略成功率 85.5%;
- 在 PushT、Wall、Granular 等世界模型规划任务上持平或超越领先编码器;预测的未来 tokens 可直接解码为像素供可视化检查。
- 团队开源了 Stage 1 与最终 checkpoint、8 个 LIBERO 策略 checkpoint、JAX/PyTorch 训练与评测代码、论文与项目页。
所属事件:UCSC 等发布 ALPS 视觉编码器：统一状态、语言与像素(3 条相关)→
「研究」频道最新
- Laude Institute 发布 FrontierCS 2：删掉论文代码贡献，让 agent 复现并超越原方法 — lateinteraction · 2026-10-23
- OPAL：让LLM智能体在训练中实时重写优化器源码 — RobertTLange · 2026-10-23
- RFD4-Proteina 文档被赞被低估:partial diffusion 用法详解 — AllThingsApx · 2026-10-23
- 漏洞检测方向新博士毕业,论文覆盖 ML 漏洞检测能力基准 — mboehme_ · 2026-10-23
- LiveNerf 连续 29 天实测:未发现 Claude Opus 5.5 被降智 — TheOnlyVibemaster · 2026-10-23
- 新论文预警:最早 2027-2028 年或现重大 AI 赋能恐怖袭击事件 — StephenLCasper · 2026-10-23