LLNL 发布 SciResearch-Eval:用「有缺陷的模拟器」测 AI 科学判断力

alex_verem · x · 2026-11-19

前条 LLNL 长文对应的论文已上 arXiv:SciResearch-Eval,首个把 agent 自主设计实验、故意有缺陷的模拟器、以及 95% 区间校准评分结合起来的交互式基准。在 93 任务、9 模型、2511 episodes 的 held-out 测试中,模拟器缺物理时多数模型报错值还自称 95% 确定(区间覆盖率仅 20–62%,GPT-6 Astra 为 94%、Claude Fable 5.2 为 99%)。告诉失败模型策略可提升区间分 1.6–2.5 倍但覆盖率不动;Opus 5.5 需 13–31 倍推理量才能在最高档恢复,旧模型与开源模型无改善。环境、评分器与 harness 已开源。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →