NVIDIA VLA 模型开车,Embedl 优化后在 Thor 上达 20 决策/秒

No-Dragonfly6246 · reddit · 2026-11-13

NVIDIA 的 Alpamayo 2 Edge 是一个视觉-语言-动作(VLA)驾驶模型:读取车辆 6 路摄像头与近期运动状态,先说出「要做什么、为什么」,再规划路径,且用强化学习循环训练。官方 PyTorch 版在 Jetson AGX Thor 上每次规划需约 0.6–0.8 秒,而 20Hz 摄像头意味着它约每秒才更新一次决策,推理跟不上传感器。

Embedl 将其优化到单次规划 45ms、同一块板子上每秒 20 次决策,使规划与推理链路能跟上相机帧率。文中给出具体数字、优化方法论,并在网页上提供真实 Thor 板卡的实时运行演示(截图中模型正在解释「绿灯亮了,直行通过路口后右转」)。