专题 · FULL STORY
Fable 5.2 迷宫登顶与评测污染风波
Fable 5.2 在第三方 3D 迷宫基准 MazeBench 上追平乃至超越 GPT-6 Astra,并以更低价格登顶 token 效率榜,引发热议。随后其成绩陷入评测污染疑云,社区围绕结果可信度展开争论,事件仍在发酵。
2026-11-11 ~ 2026-11-17 · 2 集 · 12 条
第 1 集 · MazeBench 更新:Fable 5.2 追平 GPT-6 Astra 且 token 效率最高(2026-11-11,3 条)
MazeBench 评测更新:Fable 5.2 得分 15%,仅以微弱差距低于 GPT-6 Astra,成为新的前沿模型,价格却只有一半;作者跑满 40 小时后认为它是迄今 token 效率最高的模型,解谜能力有可能进一步超越对手,但需更高成本或再跑数周。此外 Gemini 4 Carbon 得分与前代 Argon 相当,但同价格下探索范围更小,其策略被批评散乱易分心,而 Argon 方法系统化,见到谜题就顺手解决。
- MazeBench 排行:Fable 5.2 得 15%,token 效率最高 — patience_cave · 2026-11-11
- Fable 5.2 登顶 MazeBench,解谜能力追平 GPT-6 Astra — patience_cave · 2026-11-11
- Gemini 4 Carbon 与前代得分相当,策略却被批散乱易分心 — patience_cave · 2026-11-11
第 2 集 · Fable 5.2 登顶 MazeBench 后陷评测污染疑云(2026-11-16,9 条)
Fable 5.2(Claude Code max)在第三方 3D 迷宫基准 MazeBench 上以 21% 的成绩刷新纪录登顶,同时领跑 token 效率榜;但基准作者随后曝光的评测污染疑云让这份成绩的可信度受到质疑,目前结论尚待跑满 10 亿 token 的进一步验证。
已确认
- Fable 5.2(Claude Code max)在 MazeBench 的 3D 迷宫环境中耗时 90 小时、投入 6000 美元额度,取得 21% 的成绩,超过 GPT-6 Astra(16%)等模型登顶。
- MazeBench 作者补充的数据显示,Fable 5.2 是目前 token 效率最高的模型:在 2 亿 token 检查点时以 179.8M tokens 拿到 21%,高于 GPT-6 Astra(16%)与 Gemini 4 Argon 等对手;作者计划继续跑满 10 亿 token 做进一步验证。
- MazeBench 作者在回复 Hamel Husain 时披露更多测试细节:该基准考察开放世界探索、3D 空间推理和中程规划;有人类玩家拿到 70% 以上成绩,但普遍花了 50-100 小时且都是推箱子类游戏(如 Baba is You)高手。此外,开启编码(coding)后 GPT-5.6 的得分可从 1% 升至 17%。
- MazeBench 作者公开感谢 @PrimeIntellect、@xeophon 与 @omouamoua 数月来对基准持续改进的支持。
- 知名 AI 教育者 Hamel Husain 首次认真试做 MazeBench 的谜题后表示,大部分题目自己也解不出来,侧面印证该基准难度之高。
尚未确认
- 作者观察到 Fable 5.2 在一个困难 3D 关卡中直接给出了旧版 MazeBench 的解法——该关卡两周前刚被更新、旧解法本已失效,模型却仍按旧答案作答。作者据此怀疑 Fable 5.2 对 MazeBench 的解法存在记忆,即评测数据可能已被污染;这一问题尚待进一步核实,若属实,其登顶成绩的含金量需要重新评估。
为什么重要
- MazeBench 的问题直接触及当前 LLM 评测的核心痛点:模型若在训练中记住了基准的答案,榜单分数就不再反映真实的空间推理能力。
- 连 Hamel Husain 这样资深的从业者都难以解开大部分谜题,而人类高手也需投入 50-100 小时才能取得 70% 以上成绩,说明该基准对人类与模型都极具挑战,登顶成绩本应是强推理能力的重要信号;但污染疑云提醒第三方基准需要持续更新题目(如本次关卡改版)并对「疑似背题」行为保持警惕。
- MazeBench 新高:Fable 5.2 花费 90 小时和 6000 美元跑出 21% 登顶 — patience_cave · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- MazeBench token 效率榜:Fable 5.2 领先,将跑满 10 亿 token 验证 — patience_cave · 2026-11-16
- MazeBench 作者致谢 Prime Intellect 等社区支持 — patience_cave · 2026-11-16
- 网友爆料 Fable 5.2 能背出 MazeBench 旧解,疑评测污染 — patience_cave · 2026-11-16
- Hamel Husain 试做 MazeBench 谜题:承认大部分题自己都解不了 — HamelHusain · 2026-11-17
- MazeBench 作者答疑:开启编码让 GPT-5.6 得分从 1% 升至 17% — patience_cave · 2026-11-17
- MazeBench 细节:人类玩家需 50-100 小时才能拿 70% 以上 — HamelHusain · 2026-11-17
- 花 6000 美元跑 90 小时,Fable 5.2 以 21% 刷新 MazeBench 纪录 — patience_cave · 2026-11-17