EurekaBench:GPT-6 Astra 预测近乎比肩人类,科学洞见仅 29.4%
geoffwolfe · x · 2026-10-04
ReasonCore 发布新基准 EurekaBench,检验 AI 实验能否发现解释观察结果的科学机制,与 SciCode(测科学代码)、CritPt(测研究级物理题)互补。基准覆盖 6 个领域、26 个问题、306 个洞见问题,分别评测科学约束、预测准确性与机制洞见。
结果颇有反差:GPT-6 Astra 在预测上几乎追平人类参考水平(47.4% vs 48.8%),但在科学洞见上大幅落后(29.4% vs 69.7%)——拟合数据不等于理解机制。ReasonCore 正在围绕该基准构建数据集。
所属事件:EurekaBench 发布:AI 解题强但科学洞见仅约三成(2 条相关)→
「研究」频道最新
- 杜一论等发布能量模型教程:统一视角串起扩散、强化学习与推理 — burny_tech · 2026-11-20
- MiniMind:64M 参数小模型,2 小时、约 3 元成本从零训练 LLM — dr_cintas · 2026-11-20
- 一周 1900 篇 AI for Science 论文:测试误差小不等于模型对了 — bravo_abad · 2026-11-20
- Mech interp 的未来:从电路中抽象出可学习的算法 — burny_tech · 2026-11-20
- MBZUAI 发布 PAN 2 世界模型:29B 参数,连训练代码一并开源 — ZhitingHu · 2026-11-20
- LLM 中发现可迁移的「目标编码」:Python 计划植入 C++ 照样执行 — paul_cal · 2026-11-20