Visual Cipher Bench:8 个前沿模型做视觉谜题,最好仅解出 26.7%
_akhaliq · x · 2026-11-17
Einsia AI 联合 Navers Lab、清华大学发布 Visual Cipher Bench,一个长时程视觉推理 benchmark:让 agent 面对没有书面规则、也没有正误反馈的视觉谜题,只有工具可用,60 分钟内自主解题。
设置
- 40 个原创视觉谜题(空间、逻辑、规则归纳、解码类),共 67 张图。
- 8 个前沿模型、29 种配置、3480 次评分运行。
结果
- 最好成绩是 GPT-6 Astra 的 26.7%,GPT-6.1 Sol 与 Claude Opus 5.5 各 21.7%。
- 三个模型(DeepSeek V4.1 Flash、Qwen 3.8 Max、Kimi K3.1 Pro)全部为 0 分,GPT-6 Luna 与 Claude Sonnet 5.5 仅 0.8%。
结论:编码 agent 能靠书面 spec 和测试套件啃长任务,但一旦规则藏在图里、无法验证对错,前沿模型普遍溃败。项目含 arXiv 论文、GitHub 与排行榜,已开源。
所属事件:视觉谜题基准发布:最强前沿模型仅解出 26.7%(2 条相关)→
「模型」频道最新
- 用户公开致信 OpenAI:Dot 一周后持续退化,考虑转投 Anthropic — Danny7Guns · 2026-11-17
- 传 OpenAI 今日连发两款模型 GPT-6.2 Astra 与 Sol,赶在 Anthropic IPO 前夜 — kimmonismus · 2026-11-17
- 用户报告 Gemini 4 在 Antigravity 中跳过思考过程,官方论坛已确认 Bug — lyraxana · 2026-11-17
- Qwen Max 闭源非转向:最强模型仅 API 一直是既定策略 — natolambert · 2026-11-17
- 开发者自述:明知 Opus 够用,仍因 FOMO 死守 fable-5.2 — adonis_singh · 2026-11-17
- 实测 Gemini 4 Carbon 缓存命中率不足 90%,成本效率存疑 — mariofilhoml · 2026-11-17