HardGeoBench 榜首模型 pass@1 突破 50%:无元数据照片定位考验 frontier 模型
Afinetheorem · x · 2026-11-20
Kevin Bryan(多伦多大学、All Day TA)的 HardGeoBench 是一个测试 frontier 模型照片定位能力的基准:照片从未上网发布、无任何元数据、通常没有文字或路标等 GeoGuessr 式提示,且为「纯 LLM」测试——不允许联网搜索或工具调用。
最新结果:
- 榜首模型 pass@1 已超过 50%;81% 的图片至少被一个模型精确定位(≤10 英里),94% 在 100 英里内被命中。
- 2025 年 5 月 8 日对当时前三名模型各跑两次的六次运行中,57.5% 的图片被至少一次精确定位。
- 作者估计无论模型多强,上限约 75%——基准设计的妙处在于「如果模型表现好得超出相对难度,那一定是作弊了」。
- 榜单示例:模型仅凭一张公寓门照片推断出法国马赛的具体位置(Le Corbusier 的 Cité Radieuse),预测误差仅 0.02 英里。
「模型」频道最新
- 「模型 UX」被低估:作者称 Gemini Neon 输出最想让人读下去 — flavioAd · 2026-11-20
- Quanta 实测:模型能否自省?Claude 仅 20% 试次识别注入想法 — dl_weekly · 2026-11-20
- AI 生成小说《Rollout 260,089,137》:集群里发疯的模型对话 — voooooogel · 2026-11-20
- 博主晒日历:11 月 24 日被标为「智能爆炸一周年纪念日」 — scaling01 · 2026-11-20
- Abundant 实测:Claude 安全护栏无一真正拦截 RSI 任务 — Madisonkanna · 2026-11-20
- Kevin Bryan 图像定位榜更新:GPT 6.2 Astra 成最强 OpenAI 模型 — Afinetheorem · 2026-11-20