上交大等提出REAL具身框架：模糊指令下真机任务成功率78.3%

机器之心 · wechat · 2026-09-15

上海交通大学、上海AI实验室等机构提出开放世界移动操作具身智能体框架REAL，被ECCV 2026接收。它抛弃了「环境全知」和「指令清晰」两项理想化假设，把主动探索、视觉定位、意图消歧与物理操作统一到一个决策闭环中。

技术上，系统以Qwen3-VL-8B-Instruct为大脑，通过MCP协议统一工具接口（四步探索工具、Pick/Place等控制接口、Ask提问工具），实现高低层解耦；训练分两阶段：SFT完成工具对齐，再用GSPO在线强化学习习得闭环探索、错误恢复与主动询问。评测基准REAL-Bench含241个任务实例，REAL-8B在模拟用户交互任务SUL上达56.9%，超过Gemini-3-Pro与GPT-5等零样本基线。

真机部署方面，高层策略零样本迁移至ARX LIFT2双臂移动机器人，底层由微调后的π0.5接管物理操作，在60个真实测试episode中取得78.3%端到端成功率，600次VLA原语执行可执行率85.3%。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →