新基准 HSS 揭示:GPT-6 Astra 等 SOTA 模型全败于人类「第六感」
mikeflache · x · 2026-10-13
Elorian 联合 Scale AI 推出 Humanity's Sixth Sense(HSS)基准,测量 AI 从场景中做隐式视觉推理与直觉理解的能力。论文评测中的失败案例包括:
- 书架留缝判断:GPT-6 Astra、Gemini 3.8 Flash、Claude Opus 5.5 三次全部答错「放不下」,实际空隙足够。
- 追溯旅行者入画方向:三家一致答错入画边。
- 判断犁链是否承重、机旁人员是访客还是机务、发动机轴转动时外罩是否随转等「可供性/机制因果/社会角色」类问题,三家模型均三连错。
结论:当前旗舰模型在人类几乎不假思索的场景直觉推理上系统性失败,这类「第六感」能力仍是明显短板。
「模型」频道最新
- 曝英伟达洽购 Reflection AI,或重启开源权重 LLM 布局 — thedealdirector · 2026-10-13
- 研究发现 VLM 空间绑定是双机制:视觉编码器为主、语言模型为辅 — davidbau · 2026-10-13
- Claude Haiku 4.5 曝光,界面却疯狂重复渲染 Claude 前缀 — Sauers_ · 2026-10-13
- 扎克伯格与 Alexandr Wang 酒馆长谈 Muse Wonder 与千亿美元豪赌 — alexandr_wang · 2026-10-13
- 网友玩梗「Argon 已完蛋」,调侃 DeepMind 模型捂太久 — giffmana · 2026-10-13
- eigenrobot 吐槽 GPT 沦为「女教师」,被迫改写自定义指令 — eigenrobot · 2026-10-13