RxBrain：语言和视觉联合的具身模型
Haotian Liang · hf · 2026-07-18
RxBrain 提出一种“具身认知”基础模型，把语言推理与视觉想象放到同一条规划序列里处理。 ### 方法要点 - 与只强调场景理解的 VLM，或只预测未来视觉状态的世界模型不同，RxBrain 让语言负责任务分解、约束、时序和决策逻辑，让视觉想象负责世界状态预测和联合子目标规划。 - 模型采用统一的多模态 Mixture-of-Transformers 架构，支持语言、图像和视频的理解与生成。 - 作者还构建了自动化训练管线，把具身视频切成规划步骤，并对齐文本与视觉状态转移，形成联合监督。 ### 评测与结果 - 他们提出了 RxBrain-Bench，用来评估模型是否能把具身计划表示为“文本推理 + 视觉想象”的联合结构，而不是拆开的理解/生成能力。 - 实验显示，RxBrain 在具身理解与生成上保持了能力，并能输出带有文本推理、世界状态预测和联合子目标规划的计划。 - 进一步扩展到连续机器人动作生成后，在不依赖大规模动作数据预训练的情况下，也展示了有希望的真实机器人表现。