Singularity Gate 测试模型预测发现能力
queenofartists · reddit · 2026-07-16
帖子介绍了一个名为 **Singularity Gate** 的 benchmark，用来测试前沿模型能否预测训练截止日之后发表的、可能带来范式变化的科学发现。 ### 主要结果 - **Claude Fable 5** 当前表现最好。 - 但原版 Fable 5 只对 **45%** 的任务作答，最新版本仅 **39%**，且最新版本还有轻微性能退化。 - **GPT-5.6 Sol** 相比 GPT-5.5 有明显提升，超过了同价位的 **Claude Opus 4.8**，并且以更好的价格/可用性接近 Fable 5。 - 作者认为，Fable 的严格拒答策略值得质疑，因为 GPT-5.6 在不那么多拒答的情况下给出了相近表现。 ### 额外说明 - 目前**没有任何模型**能真正“预测发现/发明”。 - 所有模型都在各自原生 agentic harness 中测试，并允许工具使用；**关闭了 web search**。