世界模型 CausalWM 驱动机器人:先预测运动与3D几何再行动

arankomatsuzaki · x · 2026-10-14

承接前帖的机器人演示，Komatsu-zaki 透露其中的学习策略来自其世界模型 CausalWM：它先生成未来帧，预测运动与 3D 几何，再由同一骨干上的动作模块把预测转化为可执行的策略。

配图展示了完整「因果代理」架构：以用户请求、多相机观察和验证器反馈（如 verify(grasp)→false、关节超限错误）持续更新任务状态；代理循环执行识别阶段→选择工具→验证结果→重试/重规划；统一工具接口把世界模型+动作模块的策略与规则函数、SLAM 导航、验证器组合调用，仅需少量演示即可抽取阶段与技能。