TuringSpace 用交互式 CAPTCHAs 测空间智能:GPT-6 仍错 26%
meta · hf · 2026-11-20
Penn/UMN/USC/Meta/MBZUAI 等机构在 arXiv 发布 TuringSpace:一个由 125 个交互式 CAPTCHA 组成的合成网页环境,覆盖五种空间能力,模型必须通过点击和拖拽来解题——正是人类解验证码时的「观察-行动-纠错」循环。
- 成绩反差:人类解决 94.1%,最强模型 GPT-6 Astra 仍有 25.9% 失败,最强开源权重模型 Kimi K3 失败率高达 68.0%
- 失败分析:多数错误源于误读截图;模型推理很少纠正错误信念,反而会幻觉出证据为其辩护
- 可作训练场:每个任务都是程序化生成、自带 checker 和 oracle。在该环境上微调 Qwen3.5-9B,成功率从 1.6% 升至 33.1%(超过 Kimi K3),且在全部七个分布外基准上提升,包括 VSI-Bench 真实室内视频上 +9.9 分
- 结论:把空间智能锚定在屏幕操作上既能暴露 MLLM 的短板,也提供了可规模化的训练方法,收益能迁移到真实场景。资源将开源
「模型」频道最新
- Mamba+MoE 混合推理模型 Olala-v1.0-mini-7A1B 登 HF 热榜 — OVHaiLLM · 2026-11-20
- 本地推理党吐槽:196GB 内存不够玩,512GB 才起步 — AIFlow_ML · 2026-11-20
- 网友实测:OpenAI Astra xhigh 的 ML 工程能力相当不错 — _Stocko_ · 2026-11-20
- 配图泄露 OpenAI 内部评测:新网络模型 ExploitGym 达 77% 胜率 — TheMoonMidas · 2026-11-20
- Beth Barnes 澄清:METR 未评测 Fable/Mythos 5.2 对齐性 — RyanGreenblatt · 2026-11-20
- 腾讯 Hy4 旗舰 MoE 登陆 vLLM:774B 总参/49B 激活,1M 上下文 — vllm_project · 2026-11-20