三台 Franka 机械臂协作叠 9 层塔,Gemini Robotics-ER 做大脑
Zergylord · x · 2026-09-19
开源项目 IsaacSimGeminiRobotics 演示了多机器人协作:3 台 Franka FR3 机械臂在 NVIDIA Isaac Sim 中通过 ROS 2 协同堆叠 9 个彩色方块成塔,由 Google Gemini Robotics-ER 充当视觉-语言-动作(VLA)大脑。
- 架构:Gemini Robotics-ER 分析顶视相机画面,规划任务,并通过 Function Calling 并行下发机器人指令
- 双控制模式:可在 Gemini VLM 编排器与无需 API 的规则式运动规划器之间切换
- 工程要点:作者指出模型会“幽灵抓取”——看不见缺失的 attach frame,用 TF 加前置条件门控(precondition gating)切掉了这些问题
- 监控面板:React UI 提供实时 KPI 利用率追踪、2D 数字孪生地图、时间线与离散事件日志
- 跨系统:通过 FastDDS Unicast 实现 Windows ↔ WSL2 桥接,开机自动配置
作者将其总结为 Physical AI 的完整工作流:规划 → 执行 → 把限制写回机器规格。
「编程与Agent」频道最新
- Teknium 质疑 Jev 压缩能力:Hermes 能把 95% 上下文摘要掉 — Teknium · 2026-09-20
- 开源项目 HarnessRouter:把 Codex、Claude Code 统一成一个 Agent API — daniel_mac8 · 2026-09-20
- HarnessRouter:不为模型而为harness做路由的新思路 — daniel_mac8 · 2026-09-20
- 独立开发者的 GameToMac 上线10天,AoE4/CS2 等大作已能跑上 Mac — nickbaumann_ · 2026-09-20
- DialKit 2.0 发布:实时调节 UI 参数的开源工具,专为 AI 编码工作流设计 — LinusEkenstam · 2026-09-20
- 1565 封企业邮件实测:Jev 分类不敌 Gemini 仍被看好上生产 — socialwithaayan · 2026-09-20