专题 · FULL STORY

Fable 5.2 迷宫登顶与评测污染风波

Fable 5.2 在第三方 3D 迷宫基准 MazeBench 上追平乃至超越 GPT-6 Astra,并以更低价格登顶 token 效率榜,引发热议。随后其成绩陷入评测污染疑云,社区围绕结果可信度展开争论,事件仍在发酵。

2026-11-11 ~ 2026-11-17 · 2 集 · 12 条

第 1 集 · MazeBench 更新:Fable 5.2 追平 GPT-6 Astra 且 token 效率最高(2026-11-11,3 条)

MazeBench 评测更新:Fable 5.2 得分 15%,仅以微弱差距低于 GPT-6 Astra,成为新的前沿模型,价格却只有一半;作者跑满 40 小时后认为它是迄今 token 效率最高的模型,解谜能力有可能进一步超越对手,但需更高成本或再跑数周。此外 Gemini 4 Carbon 得分与前代 Argon 相当,但同价格下探索范围更小,其策略被批评散乱易分心,而 Argon 方法系统化,见到谜题就顺手解决。

第 2 集 · Fable 5.2 登顶 MazeBench 后陷评测污染疑云(2026-11-16,9 条)

Fable 5.2(Claude Code max)在第三方 3D 迷宫基准 MazeBench 上以 21% 的成绩刷新纪录登顶,同时领跑 token 效率榜;但基准作者随后曝光的评测污染疑云让这份成绩的可信度受到质疑,目前结论尚待跑满 10 亿 token 的进一步验证。

已确认

  • Fable 5.2(Claude Code max)在 MazeBench 的 3D 迷宫环境中耗时 90 小时、投入 6000 美元额度,取得 21% 的成绩,超过 GPT-6 Astra(16%)等模型登顶。
  • MazeBench 作者补充的数据显示,Fable 5.2 是目前 token 效率最高的模型:在 2 亿 token 检查点时以 179.8M tokens 拿到 21%,高于 GPT-6 Astra(16%)与 Gemini 4 Argon 等对手;作者计划继续跑满 10 亿 token 做进一步验证。
  • MazeBench 作者在回复 Hamel Husain 时披露更多测试细节:该基准考察开放世界探索、3D 空间推理和中程规划;有人类玩家拿到 70% 以上成绩,但普遍花了 50-100 小时且都是推箱子类游戏(如 Baba is You)高手。此外,开启编码(coding)后 GPT-5.6 的得分可从 1% 升至 17%。
  • MazeBench 作者公开感谢 @PrimeIntellect、@xeophon 与 @omouamoua 数月来对基准持续改进的支持。
  • 知名 AI 教育者 Hamel Husain 首次认真试做 MazeBench 的谜题后表示,大部分题目自己也解不出来,侧面印证该基准难度之高。

尚未确认

  • 作者观察到 Fable 5.2 在一个困难 3D 关卡中直接给出了旧版 MazeBench 的解法——该关卡两周前刚被更新、旧解法本已失效,模型却仍按旧答案作答。作者据此怀疑 Fable 5.2 对 MazeBench 的解法存在记忆,即评测数据可能已被污染;这一问题尚待进一步核实,若属实,其登顶成绩的含金量需要重新评估。

为什么重要

  • MazeBench 的问题直接触及当前 LLM 评测的核心痛点:模型若在训练中记住了基准的答案,榜单分数就不再反映真实的空间推理能力。
  • 连 Hamel Husain 这样资深的从业者都难以解开大部分谜题,而人类高手也需投入 50-100 小时才能取得 70% 以上成绩,说明该基准对人类与模型都极具挑战,登顶成绩本应是强推理能力的重要信号;但污染疑云提醒第三方基准需要持续更新题目(如本次关卡改版)并对「疑似背题」行为保持警惕。