视觉谜题基准:最强模型仅 26.7% 正确率,一句规则提示飙到 51.1%
机器之心 · wechat · 2026-11-17
EinsiaAI 旗下 NaversLab 发布长程视觉推理基准 VisualCipherBench:40 道原创视觉谜题、67 张黑白线稿,线索全在图里、无题干、无对错反馈,专卡现有评测空白(视觉评测多为单轮问答、Agent 评测几乎全在文本/代码)。
- 成绩惨淡:8 个前沿模型、29 种推理强度配置、3480 次尝试,榜首 GPT-6 Astra (max) 仅 26.7%;DeepSeek V4.1 Flash、Qwen3.8 Max、Kimi K3.1 Pro 一题未对,29 个配置无一超过 30%
- 题型偏科:空间操作 22.8%、知识解码 3.3%、逻辑规划 2.4%、规则归纳仅 0.6%(870 次尝试对 5 次,还有蒙对的)
- 一句点明核心规则的提示让总体准确率从 12.2% 跳到 51.1%,规则归纳类从 0% 到 85.2%;对照实验证明起作用的是规则本身而非「多一句话」
- 失败模式两种:「赌徒」用不完整规则押注提交,「苦力」穷举不用约束剪枝;赢家先列候选规则再逐样例验证
「模型」频道最新
- Gemini 4 Hydrogen 引入 xhigh 思考档位,官方给出四档使用指南 — patloeber · 2026-11-17
- 蚂蚁开源 Duo:首个双向世界模型让虚拟人自主决定开口时机 — aigclink · 2026-11-17
- 研究员猜测 Qwen4 遇阻:线性+稀疏注意力组合或成难点 — bclavie · 2026-11-17
- ChatGPT 前端配置曝光采样用户点击信号,被猜是在造自己的 NavBoost — gaganghotra_ · 2026-11-17
- AI 检测器把维克多·雨果名段判为 100% AI 生成,作者晒图引争论 — JFPuget · 2026-11-17
- 开发者实测:Gemini 4 Carbon 与 Opus 互为“生成器+验证器”效果佳 — gajesh · 2026-11-17