HexaShell：让 VLM 编码 Agent 用视觉和自写工具操控双臂机器人

HexaFuture · hf · 2026-10-19

HexaFuture 的 HexaShell 探讨 VLM agent 能否像写代码一样操控机器人：harness 极薄，只把 agent 指令转成机器人动作；agent 通过双臂各一路命令行驱动机器人，看得见三个 RGB 相机并知晓标定。每次失败后读日志找原因，写小程序（tools）来修复——像 coding agent 修失败测试一样把经验沉淀为代码。工具只用机器人自身观测，通过三角测量定位物体。系统在 RoboDojo 上取得 SOTA，但接触密集型任务仍是短板。