UrbanGround 基准:LLM 长程城市导航成功率跌至 0%
机器之心 · wechat · 2026-09-05
上海交大、新国立、美团、港中文等机构推出 UrbanGround 基准,用香港真实三维地理数据搭建可交互城市沙盒,测试多模态模型的第一人称长程导航。共 810 个人工检查的任务实例,测了 10 个模型。
- 视觉识别不难:准确率 75.0%–93.8%,但方向理解仅 23.3%–58.3%,Gemini-3.1-Pro 甚至低于随机猜测。
- 短程导航最高成功率 75.0%,长程骤降至 0%–3.8%;GPT-5.5 从 75% 跌到 0%。
- 动态环境更糟:封路遵守率仅 10%–46.7%,行人碰撞率高达 76.3%–90.0%。
结论是模型「走两步就忘了路」:不是不认路,而是前一步的判断管不住后面的动作。论文、代码与可在线游玩的 App 均已公开。
「多模态」频道最新
- AI 短片还原豪鬼对战勇次郎,Baki 格斗名场面跨界对决 — Ok-Vegetable-2455 · 2026-09-05
- AI 视频把毛绒玩偶搬上阳台,角色质感引发关注 — AmyRoseFan_1234 · 2026-09-05
- 创作者用 Seedance 产出高水准视频,被赞树立新标杆 — LinusEkenstam · 2026-09-05
- 让 Astra 用公开资源复刻香波堡:3D 建模加 Cycles 电影级渲染 — Dimillian · 2026-09-05
- 用 GPT-6 Astra 做 3D 拆解网站:特斯拉 Model X 化为 334 个零件 — Dimillian · 2026-09-05
- 用 Seedance 2.5 一段提示词生成 30 秒写实丧尸巴士恐怖短片 — SimplyAnnisa · 2026-09-05