NVIDIA 用 AI 智能体全流程训练机器人走障碍赛

tomaszbednarz · x · 2026-11-04

NVIDIA 技术博客发布教程,展示用 AI 智能体端到端教会机器人「Microduck」在仿真中走完障碍赛道的完整工作流:

规划:以 RTX Spark 为本地开发枢纽,由 Hermes、Nemotron 3.5 Bolt 等智能体把一句 prompt 翻译成分步项目计划。
资产制作:Astra 智能体按计划创建 3D 仿真资产——云端图像编辑增强参考图、FreeCAD 建几何、Blender 上材质,导出可编辑模型与 USD 资产。
仿真搭建:在 Isaac Sim 中用 Omniverse 库做渲染与传感器仿真,用 Newton 引擎对 Microduck 的运动与平衡做物理建模。
策略训练:Isaac Lab 在 RTX PRO 6000 Blackwell 工作站 GPU 上用 4096 个并行环境训练感知与运动(locomotion)策略,输入为头部相机深度图与机器人状态。
验证与迁移:训练好的策略先在 RTX Spark 上经 Isaac Sim 本地验证障碍检测与赛道完成情况,再配合更精确的执行器模型与 domain randomization 准备 sim-to-real 迁移。

配套的 SimReady 资产库、Isaac Lab 文档与 Hugging Face 上的 sim-to-real 教程均已开放,可复现整套流程。

「编程与Agent」频道最新