Fable 5.2 被疑「背题」:解开 MazeBench 旧版关卡后被更新难倒
aiamblichus · x · 2026-11-17
博主 patiencecave 发现 Fable 5.2 在 MazeBench 3D 关卡上表现「好得可疑」:对一个 3D 关卡,它直接给出了旧版 MazeBench 的解法——但该关卡几周前已更新,旧解法已失效,模型在此情形下翻车。转发者 HououinTyouma 调侃:「只有来自中国区才算 benchmaxxing,否则叫优雅地把整个光锥都放进训练集」,暗指该模型可能在训练中见过基准题(配图梗图「I did not train on test」)。这是关于基准污染的圈内讽刺讨论,结论未证实。
「Fun」频道最新
- 连不上投影屏?楼管没辙,ChatGPT 却搞定了 — peterwildeford · 2026-11-17
- 开发者晒车内 Grok 多智能体工作流,网友力推 $200 Claude 三端组合 — haydendevs · 2026-11-17
- 路透称 Bessent 建议英伟达「走出公司内部」寻找新 CEO — OwariDa · 2026-11-17
- researcher 玩梗:该给黄仁勋寄件白色皮夹克了 — ericjang11 · 2026-11-17
- 薛蛮子联合百余名华人企业家发起 Stand with Jensen 联署 — ceciletamura · 2026-11-17
- 作者用 GPT 复现 ICLR 审稿意见,评分七度摇摆引争议 — anand_bhattad · 2026-11-17