网友爆料 Fable 5.2 能背出 MazeBench 旧解,疑评测污染
patience_cave · x · 2026-11-16
- 发帖人称 Fable 5.2 在解一个 3D 关卡时,直接给出了 MazeBench 中某关卡的旧版解法——而该关卡几周前已更新,旧解法已失效,模型在此处翻车。
- 被转发的推文补充:MazeBench 质量高到 Anthropic 已经在用它的数据做训练,因此作者提醒不要把模型在该基准上的得分太当回事,任何基于此类基准的结论都应打折扣。
- 整体指向 benchmark 数据污染/训练集泄露问题:模型对评测题「熟得可疑」,遇到更新后的题目才暴露真实能力。
所属事件:Fable 5.2 登顶 MazeBench 后陷评测污染疑云(9 条相关)→
「模型」频道最新
- Realtime-Bench:人类玩游戏胜率 72%,最强模型仅 32% — ManlingLi_ · 2026-11-20
- Goodfire 公开 Qwen3.6 全部 1000 万神经元的可搜索图谱,并开放数据 — fatihdin4en · 2026-11-20
- 用户抱怨:OpenAI Dots 仍未在欧洲上线 — mark_k · 2026-11-20
- 四个月内开源权重模型在 Databricks 托管 token 占比从 7.3% 升至 30.9% — AIFlow_ML · 2026-11-20
- Gemini 4 Neon 一句话生成涩谷霓虹跑酷游戏,谷歌小蓝人当主角 — rseroter · 2026-11-20
- 教授精心设计「AI 防不住」考题,模型照样考到 82 分 — alex_verem · 2026-11-20