RxBrain：语言和视觉联合的具身模型
Haotian Liang · hf · 2026-07-18
RxBrain 提出一种“具身认知”基础模型，把语言推理与视觉想象放到同一条规划序列里处理。
方法要点
- 与只强调场景理解的 VLM，或只预测未来视觉状态的世界模型不同，RxBrain 让语言负责任务分解、约束、时序和决策逻辑，让视觉想象负责世界状态预测和联合子目标规划。
- 模型采用统一的多模态 Mixture-of-Transformers 架构，支持语言、图像和视频的理解与生成。
- 作者还构建了自动化训练管线，把具身视频切成规划步骤，并对齐文本与视觉状态转移，形成联合监督。
评测与结果
- 他们提出了 RxBrain-Bench，用来评估模型是否能把具身计划表示为“文本推理 + 视觉想象”的联合结构，而不是拆开的理解/生成能力。
- 实验显示，RxBrain 在具身理解与生成上保持了能力，并能输出带有文本推理、世界状态预测和联合子目标规划的计划。
- 进一步扩展到连续机器人动作生成后，在不依赖大规模动作数据预训练的情况下，也展示了有希望的真实机器人表现。
「具身」频道最新
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11
- 狗类 3D 姿态数据集发布，动物动捕研究可用 — ducha_aiki · 2026-09-11