Kevin Bryan 地理定位基准 HardGeoBench:Fable 5.2 十八个月来首次压过 Gemini

Afinetheorem · x · 2026-11-10

多伦多大学 Kevin Bryan 推出 HardGeoBench:测试前沿模型仅凭照片(无元数据、无文字路标等 GeoGuessr 线索、从未上网)判断拍摄地点的「裸 LLM」能力,不联网、统一 prompt、pass@1。

在其逻辑+图像基准上,18 个月来首次由 Fable 5.2 全面登顶,Gemini 退居第二。≤10 英里精度的各家成绩:Fable 5.2 得 49、Gemini 3.8(46)、Muse Spark Open(39)、Astra 6.1(38)、Kimi k2.5(30)、GLM5.3(28)、Q3.8Max(23)、Grok 4.6(20)、DS v4FV(15)。作者还在帖中提示该基准可用于检验模型是否见过测试集。2025 年 5 月 8 日的三次复测显示顶级模型至少有一次完全命中,最优模型约 57.5% 的题能落到 10 英里内。