MazeBench 作者答疑:开启编码让 GPT-5.6 得分从 1% 升至 17%
patience_cave · x · 2026-11-17
MazeBench 迷宫基准作者在回复 Hamel Husain 时透露了多项细节:
- 测试内容:考察开放世界探索、3D 空间推理和中程规划。人类玩家中有人拿到 70% 以上成绩,但普遍花了 50-100 小时且都是推箱子类游戏(如《Baba is You》)的老玩家。
- 工具关键性:写求解器能显著提分——GPT-5.6 Sol 开启编码能力得 17%,关闭仅 1%;而 GPT-6 Astra 两种模式差距较小(23% vs 16%),暗示更强模型对工具依赖降低。
- 设计思路:作者与兄弟共同开发,每个房间围绕一个基于道具的机制设计谜题,比如用长箱子够到远处并把另一个箱子推到位。
所属事件:Fable 5.2 登顶 MazeBench 后陷评测污染疑云(9 条相关)→
「模型」频道最新
- Realtime-Bench:人类玩游戏胜率 72%,最强模型仅 32% — ManlingLi_ · 2026-11-20
- Goodfire 公开 Qwen3.6 全部 1000 万神经元的可搜索图谱,并开放数据 — fatihdin4en · 2026-11-20
- 用户抱怨:OpenAI Dots 仍未在欧洲上线 — mark_k · 2026-11-20
- 四个月内开源权重模型在 Databricks 托管 token 占比从 7.3% 升至 30.9% — AIFlow_ML · 2026-11-20
- Gemini 4 Neon 一句话生成涩谷霓虹跑酷游戏,谷歌小蓝人当主角 — rseroter · 2026-11-20
- 教授精心设计「AI 防不住」考题,模型照样考到 82 分 — alex_verem · 2026-11-20