CAIS 公开 EnigmaEval,Fable 5 领先,GPT-4o 仅 0.8
scaling01 · x · 2026-07-24
CAIS 宣布 EnigmaEval 现已公开,这是一个由长链路、复杂推理谜题组成的基准,原本往往需要多人团队耗费数小时甚至数天才能解开。
配图给出了多款前沿模型的结果:
- Fable 5 总分 41.3,排名第一
- GPT-5.6 Sol 为 39.2
- Gemini 3.1 Pro 为 32.4
- Kimi K3 为 23.6
- Grok 4.5 为 17.0
- Muse Spark 1.1 为 16.6
- GPT-4o 只有 0.8
第二张图进一步按难度拆分:在“hard”组里,题目被描述为需要 MIT 学生这类专家团队花几天才能做出的谜题,Fable 5 得分 10%,GPT-5.6 Sol 为 5.1%。
「研究」频道最新
- Hi3D V1.0 开源发布:训练资产翻四倍,切片成功率 90% — kimmonismus · 2026-10-26
- HackBench 发布:向 Agent 轨迹注入作弊,压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象:训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测,密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26