UrbanGround 基准:LLM 长程城市导航成功率跌至 0%
机器之心 · wechat · 2026-09-05
上海交大、新国立、美团、港中文等机构推出 UrbanGround 基准,用香港真实三维地理数据搭建可交互城市沙盒,测试多模态模型的第一人称长程导航。共 810 个人工检查的任务实例,测了 10 个模型。
- 视觉识别不难:准确率 75.0%–93.8%,但方向理解仅 23.3%–58.3%,Gemini-3.1-Pro 甚至低于随机猜测。
- 短程导航最高成功率 75.0%,长程骤降至 0%–3.8%;GPT-5.5 从 75% 跌到 0%。
- 动态环境更糟:封路遵守率仅 10%–46.7%,行人碰撞率高达 76.3%–90.0%。
结论是模型「走两步就忘了路」:不是不认路,而是前一步的判断管不住后面的动作。论文、代码与可在线游玩的 App 均已公开。
「多模态」频道最新
- 《罗拉快跑》导演 Tom Tykwer 用 Seedance 探索 AI 混合电影制作 — Uncanny_Harry · 2026-10-23
- 《Still Worth Something》S01E01:全 AI 生成动画喜剧上线 — LPGroves · 2026-10-23
- 音乐版权商 Reservoir 起诉 Suno 与 Anthropic:指控 AI 音乐意在取代艺术家 — TinfoilTricorn · 2026-10-23
- 万圣节 AI 短片:『小心带回家的吸血鬼』 — glagolef · 2026-10-23
- AI 短片『威严猫头鹰对峙前锋』 — Key_Layer6250 · 2026-10-23
- 12GB 显存实测 MiniMax H3:做《深空九号》Nog 短剧片段 — optimisoprimeo · 2026-10-23