Fable 5.2 MazeBench 仅得 21%,漫画讽模型背路作弊
patience_cave · x · 2026-11-18
转发一张漫画吐槽 Fable 5.2 在 MazeBench 基准上只拿 21%。漫画里角色靠「小抄」背路线轻松走迷宫,被撞见后辩解「我以为这还是训练环节」——讽刺模型在基准测试中靠记忆训练数据过关、一到真实测试就露馅的过拟合现象。好笑又点出基准污染的老问题。
「Fun」频道最新
- /prune-tests 技巧:让 Claude 清理无效测试而非狂加测试 — teropa · 2026-11-18
- AI 圈宕机恐慌蔓延,引 Pinecone 联创下场泼冷水 — econoar · 2026-11-18
- 用 GPT-6.2 Astra 写 shader,做出光与物质主题的线上博物馆 — pvncher · 2026-11-18
- GPT-6.2 Astra 生成 3D 演示,WebGPU 直接跑在浏览器 — pvncher · 2026-11-18
- 2027 年 AI 会替朝鲜背锅吗?一条推文的三段预言 — adamamcbride · 2026-11-18
- Matt Shumer 实测 GPT-6.2「基本不可用」,Scoble 感叹 OpenAI 掉队 — Scobleizer · 2026-11-18