Singularity Gate 榜单:Fable 5.2 得 25.8%,但最难任务所有模型卡在 8%

queenofartists · reddit · 2026-11-11

Singularity Gate 是一个评测模型能否预测「训练截止后范式突破级科学发现」的 benchmark。新一轮结果:

• Claude Fable 5.2 总分 25.8%,为目前最佳,代价是消耗 $200 档一周额度的 28.8%;API 降价后整体成本比 Fable 5.1 约便宜 20%(输出 token 更少但读的上下文更多)
• 在 12 道 Hard 任务(最具范式突破性的发现)上,五个模型全部卡在 7.6%–8.0%,Opus 5.5 与 Fable 5.2 打平,Sol 与 Astra 打平
• Fable 5.2 相对 5.1 在 Hard 任务上的提升在标准误差之内;作者推测两代分属 Anthropic 内部不同 base 模型(Model 2/Model 3 蒸馏)
• 作者的核心担忧:只要公开模型背后的 base 模型不变,更大的模型在真正 out-of-distribution 的科学问题上不再变强;若下一代新 base 模型仍无提升,对 AI for Science 和「奇点」路径是个危险信号
• 各学科细分:Fable 5.1 在 14 道生命科学题中只答对 3 道,无该领域得分

榜单官网 singularitygate.org,代码与论文均已公开。

原文链接 →

「模型」频道最新

• PyMC Labs 发布营销基础模型 River:免逐数据集拟合的贝叶斯 MMM — twiecki · 2026-11-11
• TheZvi 指出 Fable 5.2 在多项测试上稳健性反而下降 — TheZvi · 2026-11-11
• TheZmi 观察:Fable 5.2 在多项鲁棒性测试上不升反降 — TheZvi · 2026-11-11
• Siri AI 端侧首层 Skimmer 拆解：纯正则免模型，最快比 LLM 快 20 倍 — SumitGup · 2026-11-11
• Stripe CEO 吐槽:高 effort 只是更深想每个选项,而不是考虑更多选项 — gabriel1 · 2026-11-11
• 民调：70% 认为 Anthropic 内部最强模型加 5000 万美元可碾压人类专家 — JacquesThibs · 2026-11-11

更多「模型」频道 AI 资讯 →