STEMBench上线:六大学科评测,所有模型零满分通关
mariofilhoml · x · 2026-10-15
Ulam 团队（przchojecki）软启动 STEMBench，一个面向六大学科（生物、化学、物理、天文、地球科学、工程）的正确性优先评测基准，Hy4 Preview 也已加入评测。每个学科 20 题，每次完整跑 120 题，共 10 次运行、1200 份打分回复。
采用 0-4 分制的"分数进度"评分（0=无可用进展，4=完全达标），并区分闭卷与带工具两种设置。结果显示：目前 10 次运行中零次出现满目标成功，最佳分数处于 2.17-2.99 区间的"有意义部分进展"水平，凸显前沿模型在真实科研推理上仍有很大差距。配套还有公开测试集与 ErdosBench。
「研究」频道最新
- 微软研究院发布 Magnetar:零知识证明快 10-39 倍且仅依赖哈希函数 — Microsoft Research · 2026-10-16
- 微调后开源模型 Verus 证明通过率从 43% 升至 73% — fhuszar · 2026-10-15
- AI 把数值分析直觉直接变 Lean 硬证明，误差界证到 10⁻⁴⁸ — geoffreyirving · 2026-10-15
- 前英国AI安全研究院首席科学家：超级智能致全人类灭绝概率约五成 — geoffreyirving · 2026-10-15
- 前置训练靠互联网公地，后训练数据公地还不存在 — dlwh · 2026-10-15
- tszzl:agentic 自动研究让机制可解释性真正开始「看清」模型内部 — tszzl · 2026-10-15