LCVN:语言指令替代终点照片,世界模型视觉导航数据集与双路线对比
机器之心 · wechat · 2026-11-08
华盛顿大学等机构提出语言条件视觉导航任务 LCVN:只给一张起点图像和一段语言指令,模型需预测完整动作序列,过程中无真实环境反馈纠错,考察离线轨迹推演能力。配套数据集含 39016 条轨迹、117048 条人工核验指令,来自 GoStanford、ReCon、SCAND、HuRoN、TartanDrive 五个数据源,每条轨迹对应简洁/详细/地标三种指令风格,人工质量评分 5.2/6.0。论文比较两条结合世界模型与决策的路线:LCVN-WM+LCVN-AC 在世界模型想象环境中训练策略(域内成功率 43%,SSIM@8 达 0.293,画面更连贯);LCVN-Uni 基于 Anole-7B 统一 token 序列联合预测动作与画面(陌生越野环境成功率 27% vs 19%,泛化更强)。消融显示移除语言条件后成功率从 43% 降至 35%。团队正在 RoboWorld Challenge 2026 设 WorldNav 赛道。
「具身」频道最新
- DeepMind 发布 Gemini Robotics 2.5:人形机器人自主系蝴蝶结、打包成功率96% — AI_Andrew · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- NVIDIA 发布 BirdDreams：联合生成透视图与 BEV 的自动驾驶世界模型 — nvidia · 2026-11-13
- Galaxea 联创清华赵行 CoRL 演讲：机器人智能按时间尺度分 System 2/1/0 — YuXiang_IRVL · 2026-11-13
- 疑 OpenAI 硬件设备开箱照流出：机械臂配透明掌机 — yungcontent · 2026-11-13
- FINGR 灵巧手用连续手指技巧拧开二阶魔方,获 CoRL 工作坊最佳论文 — Scobleizer · 2026-11-13