OpenFrontier 登 RSS 2026:VLM 加持的零样本开放世界机器人导航
rsasaki0109 · x · 2026-09-09
苏黎世联邦理工(作者含 Marc Pollefeys)团队的 OpenFrontier 项目被 RSS 2026 接收,论文题目为《General Navigation with Visual-Language Grounded Frontiers》,代码已在 GitHub 开源。
核心问题与做法:
- 目标:开放世界中机器人需在复杂环境里 pursue 灵活目标,且无需针对具体任务训练
- 方法:零样本实现——将 RGB 中检测到的稀疏「视觉前沿」(visual frontiers)作为语义锚点,用现成 VLM 对照语言目标为其打分,并在 3D 空间中维护这些前沿点用于全局规划
- 系统模块:仓库含 mapping、monodepth、nav、planner、vlm/vlfm 等模块,以及 Habitat 仿真基准与 demo 脚本
这是视觉-语言模型用于机器人导航的代表性开源工作。
「具身」频道最新
- AI 推理加 CNC 与增材制造,物理世界自动化想象 — granawkins · 2026-09-09
- 三台未标定相机一提示搞定机械臂标定,误差小于0.2毫米 — burny_tech · 2026-09-09
- MicroPort 图迈手术机器人落地尼日利亚,首台进驻阿布贾医院 — PAstynome · 2026-09-09
- 欧盟文件披露苹果收购 Sonera:磁传感芯片可无创读取脑活动 — ChuckDBrooks · 2026-09-09
- Jim Fan 断言 VLA 已死:多模态编码才是机器人 System 2 的正确动作空间 — DrJimFan · 2026-09-09
- Maker 用不同舵机把 Microduck 机器人放大成 Macroduck — kamathsblog · 2026-09-09