TuringSpace 基准:交互式 3D 验证码,人类 94.1%,顶级 MLLM 仍 fail 25.9%
jiank_uiuc · x · 2026-11-21
来自宾大、明尼苏达、USC、Meta、MBZUAI 等机构的论文提出 TuringSpace:125 个交互式空间验证码,模型必须像人一样在屏幕上点击、拖拽并根据结果自我纠正来解题,覆盖五种空间能力,每个任务由程序生成新实例并带校验器,也可作为可扩展的训练环境。
关键结果:
- 人类解决 94.1% 的任务;最强模型 GPT-6 Astra 仍失败 25.9%,最强开源模型 Kimi K3 失败 68.0%
- 失败多源于误读截图;模型推理很少纠正错误认知,反而幻觉出证据为自己辩护
- 在该环境微调 Qwen3.5-9B,成功率从 1.6% 升至 33.1%(超过 Kimi K3),并在包括 VSI-Bench 真实室内视频在内的 7 个分布外基准全面提升,VSI-Bench 提升 9.9 分
结论:把空间智能锚定在屏幕操作上,能暴露 MLLM 的短板,也提供了可规模化的教学路径。项目将开源。
所属事件:TuringSpace 基准发布:顶级多模态模型空间验证码仍错约26%(2 条相关)→
「模型」频道最新
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22
- 博主实测:Inkling Mini 俄语出乎意料流利,数据配方成谜 — teortaxesTex · 2026-11-22