6 个 LLM 记忆画旧金山:最好的街道得分仅 0.32,接近随机

Evening_Hawk_7470 · reddit · 2026-11-13

voygr-tech/sf-from-memory 项目(代码、数据、答案全公开)测试模型的空间记忆:6 个模型在无地图无网络条件下判断旧金山 41,526 个坐标点的地物类型,对照 OpenStreetMap 打分。结果:最好的模型总体约 86% 准确,但「处处答非水非公园」的傻瓜基线已有 61%;海岸线、金门公园、Presidio 位置正确,街道网格基本全错。Marina 区 500 米街区内,最好街道得分 0.32,随机打乱也有 0.23;贵 5 倍的模型与便宜模型打平,高推理力度救不了网格;有模型把 Marina 画成近乎全建筑(街道 3% vs 实际 21%)。作者结论:模型记不住街道,就更不可能「记得」某店是否营业、前台分机号——做打真电话的 agent 时,这类事实必须来自实时查询,绝不能信权重。作者计划下一步在 Marina 街区跑本地模型。