马里兰大学提出 PAIR 框架,用桥接 token 打通 VLA 感知与动作
Kaixi Feng · hf · 2026-10-16
马里兰大学 Kaixi Feng、Guoheng Sun、Ang Li 提出用于视觉-语言-动作(VLA)模型的新框架 PAIR,解决连续动作 VLA 中感知表征到动作生成的隐式过渡问题。
方法核心
- 训练时用掩码动作自编码器(Masked Action Autoencoder)将专家动作编码为水平对齐的 Action Latent Tokens;
- Bridge Module 从当前视觉-语言表征中提取任务相关特征,与 Action Latent Tokens 对齐形成 Bridge Tokens,保留任务信息并捕捉专家动作结构;
- Bridge Tokens 投影到动作 token 空间后注入初始 Action Tokens,为动作专家提供「就绪」起点;推理时自编码器被移除,仅从当前观察与指令生成 Bridge Tokens。
实验结果:在 LIBERO、LIBERO-Plus 和 CALVIN ABC→D 基准上均取得提升。
「具身」频道最新
- 卖机器人智能的公司比卖机器人本体还多:Dexmate Vega 成学界通用平台 — lukas_m_ziegler · 2026-10-16
- iPhone Duo 预售火爆:纽约周边门店 3 分钟售罄 — BenBajarin · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- X 上最值得关注的 15 位机器人研究者名单:Jim Fan 居首 — FinanceYF5 · 2026-10-16
- 双屏概念机「iPhone Duo」被恶搞成明年盯 Agent 神器 — AIFlow_ML · 2026-10-16
- 香港机器人生态观察:Auki 办公室藏着超市级数据采集场 — LoganGrasby · 2026-10-16