Jetson AGX Thor 跑 VLM 实时环境理解：每秒 10-12 帧场景推理，源码开源
chrismatthieu · x · 2026-09-04
开发者 chrismatthieu 在 NVIDIA Jetson AGX Thor 上接入 Intel RealSense 立体深度相机，搭建实时视觉语言模型环境理解系统，并将全部源码开源：
- 所有计算（含 RealSense SDK）全部跑在 GPU 上，AI 可实时描述周围环境及深度信息。
- 从 QWEN 换成进程内 CUDA 版 BLIP 后，单次推理延迟约 70-110ms，达到每秒 10-12 次 VLM 场景推理。
- 项目提供两种后端：Ollama + qwen3.5:4b（约 280-350ms，语言更丰富）与 CUDA BLIP（延迟最低）；界面同时显示 RGB、深度着色图、距离统计，可选 8 词以内的语音字幕。
- 需要的硬件：RealSense D400 系列相机（作者用 GMSL 接口的 D457）、librealsense 2.58.x CUDA 零拷贝构建、Python 3.12。
所属事件:开发者开源 AGX Thor 实时视觉语言模型环境理解系统(3 条相关)→
「具身」频道最新
- 博主制图推演:人形机器人产量何时超越人类出生率 — JosephJacks_ · 2026-09-04
- Zoox 无人车开通拉斯维加斯机场接送线，运营城市继续扩张 — Fowe · 2026-09-04
- Chris Paxton:上下文学习或带来机器人的「GPT 时刻」 — chris_j_paxton · 2026-09-04
- 开发者用 Claude 制作 ESP32 联网交互桌面小设备，盛赞其设计功底 — EricBuess · 2026-09-04
- Runway 携手 NVIDIA：GWM Worlds 2 世界模型用于具身 AI 训练 — tlakomy · 2026-09-04
- 用 1/100 数据超越 pi0.5，符号世界模型在物理 AI 复活 — furongh · 2026-09-04