ScaleAI 新榜:人类 93.1 分,最强模型仅 53.6,视觉直觉成 AI 短板

新智元 · wechat · 2026-10-17

ScaleAI 联合 Elorian 发布新 benchmark「Humanity's Sixth Sense」(HSS),专测人类一眼即懂的直觉式视觉推理:522 道开放题(288 图 + 234 段视频,共 17.6 小时),分 4 大类 11 子域——时间与因果、物理与空间逻辑、社会理解、抽象与情境推断。核心设计是答案不能直接出现在像素里,3466 道候选题三轮审核后录取率仅 15.1%。

结果:人类 93.1%,榜首 GPT-6-astra 开满推理强度也只有 53.6%,25 个模型中位数 30.9%;盲测(去掉图片)最强模型跌至 6.6%,证明考的是视觉而非语言套路。社会理解最弱(平均 24.4%),23/25 个模型在视频题上更差。

归因:8573 次失败中 94% 来自感知或隐含信息推断错误,真正的逻辑错误很少——最多的是漏掉关键线索(21.3%)、认错人/物(19.9%)、误判尺寸距离(12.2%)。且多个模型常因同一原因做错同一题,提示行业共享相似视觉盲区。

Agent 补课有限:把模型放进 Claude Code/Codex 配上裁剪、放大、重抽帧工具后成绩明显提升(Claude-Fable-5.1 达 57.7%,GPT-6-astra 达 59.3%),但「把二维重叠误判为三维对齐」的错误几乎没变(102→101),说明缺的是稳定三维表征,不是放大镜。结论:下一代多模态系统需要的不是更长思维链,而是更可靠的对象绑定、三维表征与时间建模。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →