上交大等提出REAL具身框架：模糊指令下真机任务成功率78.3%
机器之心 · wechat · 2026-09-15
上海交通大学、上海AI实验室等机构提出开放世界移动操作具身智能体框架REAL，被ECCV 2026接收。它抛弃了「环境全知」和「指令清晰」两项理想化假设，把主动探索、视觉定位、意图消歧与物理操作统一到一个决策闭环中。
技术上，系统以Qwen3-VL-8B-Instruct为大脑，通过MCP协议统一工具接口（四步探索工具、Pick/Place等控制接口、Ask提问工具），实现高低层解耦；训练分两阶段：SFT完成工具对齐，再用GSPO在线强化学习习得闭环探索、错误恢复与主动询问。评测基准REAL-Bench含241个任务实例，REAL-8B在模拟用户交互任务SUL上达56.9%，超过Gemini-3-Pro与GPT-5等零样本基线。
真机部署方面，高层策略零样本迁移至ARX LIFT2双臂移动机器人，底层由微调后的π0.5接管物理操作，在60个真实测试episode中取得78.3%端到端成功率，600次VLA原语执行可执行率85.3%。
「编程与Agent」频道最新
- 一句提示词让 AI 做出「你能想到的最萌小游戏」 — paraschopra · 2026-09-15
- 独立开发者在 Reddit 验证想法：超低价开源模型 API 中转服务 — Extension-Pen-109 · 2026-09-15
- Plus 用户省额度心法：GPT-6 Astra 分层编排搭配廉价模型执行 — haider1 · 2026-09-15
- 从 Ollama 到 vLLM:LLM 部署升级路线图与场景选择指南 — kalyan_kpl · 2026-09-15
- 用 Blender 预演 + MiniMax H3 稳定生成 AI 舞蹈视频 — Hailuo_AI · 2026-09-15
- 一个群里拉四个 AI 同事接力追热点，事实审校专门挑错 — lxfater · 2026-09-15