AgentVLN:3B 模型给机器人当「大脑」,边缘端跑通视觉语言导航
机器之心 · wechat · 2026-09-10
AgentVLN 提出「VLM-as-Brain」架构:视觉语言模型负责理解任务、分析环境和调度技能,建图、避障、移动等执行交给模块化技能库,已被 ECCV 2026 录用。
核心创新是把三维路径规划转换为视觉提示下的选择题——SLAM 计算的三维路径点被投影到摄像头二维图像中,让 VLM 直接在图像上选路径点,回避其不擅长的三维几何推理;同时引入上下文自我纠错与 QD-PCoT「主动提问—调用感知补信息」机制,缓解遮挡与深度歧义。
系统仅用 Qwen2.5-VL-3B 底座,支持 Jetson 等边缘设备实时运行,在 R2R-CE、RxR-CE 等 VLN 基准上取得领先成绩,并已部署到四足机器狗和人形机器人平台。
「具身」频道最新
- RealSense D585 Pro AI 3D 深度相机到货开箱,主打 Physical AI — chrismatthieu · 2026-10-26
- 网友晒「物理世界智能体集群」演示,实体 Agent 成群协作 — pduan · 2026-10-26
- 求推荐可穿戴录音麦克风:要长续航,接自己转写和 MCP — altryne · 2026-10-26
- 物理 AI 名场面:「台灯蜂群」齐刷刷转头,桌面机器人军团曝光 — dee_hw · 2026-10-26
- 腾讯团队发 HiSTEVE 1.0:纯键鼠操作让 VLA 智能体自主玩 Minecraft — _akhaliq · 2026-10-26
- 上交大提出 VaM:用价值预测作记忆,机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26