普林斯顿团队发布 SSoN 基准:最强视觉模型空间一致性仅 39.7%,人类 83.3%
jiqizhixin · x · 2026-11-23
普林斯顿 AI Lab 主导的团队在 arXiv 发布 Same Space or Not(SSoN)基准,测试模型能否判断多张图片是否描述同一个一致空间。每题给出同一室内场景的三个视图加一个受控编辑视图,模型需找出矛盾视图并给出有效视觉解释,且无指定参照图。数据集含 1000 道题,来自 7 个场景源和 6 类编辑,经自动筛查与人工验证。结果:人类准确率 83.3%,最强视觉语言模型仅 39.7%;若要求给出有效的视觉解释,成绩进一步降到 34.9%,说明模型常是选中正确选项却给不出充分依据。配图对比了 GPT-6 Astra Pro、GPT-5.6 Sol Pro、Gemini 3.5 Flash、Claude Fable 5 等模型的「真正解决」与「部分猜对」比例。
「模型」频道最新
- 26.4B 无审查模型上 Mac:12GB 内存跑通,多 agent 提速 3 倍 — SumitGup · 2026-11-23
- 开发者直言:99% 的人不该自托管本地模型 — gnukeith · 2026-11-23
- Theo 称开源模型落后 7.5 个月,网友预测 GLM-5.5 发布后风向将变 — scaling01 · 2026-11-23
- 百度开源 Unlimited OCR2:单次请求解析数百页整本书 — abhishek__AI · 2026-11-23
- Opus 5.5 复查数学界限:指认 2015 论文漏写的系数 2 — xennygrimmato_ · 2026-11-23
- 马斯克宣称 Grok 提升 25 倍而非 25%,网友追问蒸馏小模型能否同步受益 — dreamwieber · 2026-11-23