三台 Franka 机械臂协作叠 9 层塔，Gemini Robotics-ER 做大脑
Zergylord · x · 2026-09-19
开源项目 IsaacSimGeminiRobotics 演示了多机器人协作：3 台 Franka FR3 机械臂在 NVIDIA Isaac Sim 中通过 ROS 2 协同堆叠 9 个彩色方块成塔，由 Google Gemini Robotics-ER 充当视觉-语言-动作（VLA）大脑。
- 架构：Gemini Robotics-ER 分析顶视相机画面，规划任务，并通过 Function Calling 并行下发机器人指令
- 双控制模式：可在 Gemini VLM 编排器与无需 API 的规则式运动规划器之间切换
- 工程要点：作者指出模型会“幽灵抓取”——看不见缺失的 attach frame，用 TF 加前置条件门控（precondition gating）切掉了这些问题
- 监控面板：React UI 提供实时 KPI 利用率追踪、2D 数字孪生地图、时间线与离散事件日志
- 跨系统：通过 FastDDS Unicast 实现 Windows ↔ WSL2 桥接，开机自动配置
作者将其总结为 Physical AI 的完整工作流：规划 → 执行 → 把限制写回机器规格。
所属事件:三台 Franka 机械臂协作叠塔，Gemini Robotics-ER 充当大脑(2 条相关)→
「编程与Agent」频道最新
- 免费课程：生成式媒体 Agent 的四大生产难题与解法 — Al_Grigor · 2026-11-04
- 额度重置夜：Codex 恢复 100%，Claude 仅剩 10% — rudrank · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04
- 50 人 12 国团队:创始人自称与 AI Agent 沟通多过与同事 — Scobleizer · 2026-11-04
- 极简 agent 框架 Pi 发布：四种模式可扩展，附音乐软件语音操控案例 — solyarisoftware · 2026-11-04