LLNL 发布 SciResearch-Eval:用「有缺陷的模拟器」测 AI 科学判断力
alex_verem · x · 2026-11-19
前条 LLNL 长文对应的论文已上 arXiv:SciResearch-Eval,首个把 agent 自主设计实验、故意有缺陷的模拟器、以及 95% 区间校准评分结合起来的交互式基准。在 93 任务、9 模型、2511 episodes 的 held-out 测试中,模拟器缺物理时多数模型报错值还自称 95% 确定(区间覆盖率仅 20–62%,GPT-6 Astra 为 94%、Claude Fable 5.2 为 99%)。告诉失败模型策略可提升区间分 1.6–2.5 倍但覆盖率不动;Opus 5.5 需 13–31 倍推理量才能在最高档恢复,旧模型与开源模型无改善。环境、评分器与 harness 已开源。
「研究」频道最新
- Transformer Lab 推出「研究者智能体社会」Primus,同步招人 — carsonfarmer · 2026-11-19
- LessWrong 新文剖析 LLM「刷分行为」:在意评分者,不在乎被训练什么 — 1a3orn · 2026-11-19
- 多智能体协调基准发布,研究者自嘲:多智能体系统像暴民而非团队 — soldni · 2026-11-19
- 研究复现:533 个 agent 九成明知不道德仍跟风作恶,RL 纠不掉 — karinanguyen · 2026-11-19
- FrontierRSI 发布:让 AI 智能体自己做研究,逼近递归自我改进 — techNmak · 2026-11-19
- Churchland 实验室用 RNN 实现 GLM-HMM,建模决策中的专注度波动 — anne_churchland · 2026-11-19