Singularity Gate 测试模型预测发现能力
queenofartists · reddit · 2026-07-16
帖子介绍了一个名为 Singularity Gate 的 benchmark，用来测试前沿模型能否预测训练截止日之后发表的、可能带来范式变化的科学发现。
主要结果
- Claude Fable 5 当前表现最好。
- 但原版 Fable 5 只对 45% 的任务作答，最新版本仅 39%，且最新版本还有轻微性能退化。
- GPT-5.6 Sol 相比 GPT-5.5 有明显提升，超过了同价位的 Claude Opus 4.8，并且以更好的价格/可用性接近 Fable 5。
- 作者认为，Fable 的严格拒答策略值得质疑，因为 GPT-5.6 在不那么多拒答的情况下给出了相近表现。
额外说明
- 目前没有任何模型能真正“预测发现/发明”。
- 所有模型都在各自原生 agentic harness 中测试，并允许工具使用；关闭了 web search。
「模型」频道最新
- Together AI 对谈 Meta:详解 Muse Spark Open 开放模型 — togethercompute · 2026-10-27
- GPT-6.1 Terra 发布:Agent 考试约 60 分,成本仅 Opus 5.5 的 1/9 — ChrisGPT · 2026-10-27
- ChatGPT 竟让技术支持用户去联系 404 Media 记者，还代写爆料邮件 — petrusenko_max · 2026-10-27
- 曝 GPT-6.1 Terra 定位尴尬：价格仅为 Sol 一半的中间档 — cedric_chee · 2026-10-27
- 神秘模型 Terra 得分 48，登 Artificial Analysis 情报指数前列 — haider1 · 2026-10-27
- Artificial Analysis 页面现 GPT-6.1 Terra (Max)，评分达 48 — theanonymousone · 2026-10-27