LLNL 基准测试:9 个模型仅 2 个识破被暗中做错的模拟器
alex_verem · x · 2026-11-19
Lawrence Livermore 国家实验室的研究让 9 个 AI 模型在模拟环境里完成标准实验任务:加热样品、拟合热传导模拟器并报告热导率,同时给出 95% 置信区间。部分任务中模拟器被故意缺失物理(如内部粘接点、侧边漏热),拟合曲线看起来依然完美,但答案偏差可达 12%。
关键发现:
- 大多数模型的 95% 区间实际只覆盖真值 20%–62%;GPT-6 Astra 达 94%,Claude Fable 5.2 达 99%。
- 两个赢家的策略不是放宽区间,而是设计更好的实验:温和、短时加热,使有缺陷的模拟器仍然适用,并只依据它能解释的数据作答。Astra 典型误差约 0.2%,Claude Opus 5.5 约 17%。
- 让失败的 Claude 5.5 模型「放宽区间」毫无用处;告知获胜策略可让区间分数提升 1.6–2.5 倍,但覆盖率几乎不变。
- Claude 5.5 在最高推理档位能恢复诊断能力(Opus 5.5 提升约 23 倍),但要付出 13–31 倍的推理 token;更老和开源权重模型多想也无济于事。
作者提醒:当 agent 给出「95% 确定」的漂亮结果时,要问它在下结论前到底核查了什么。
「模型」频道最新
- 研究者实测 GPT-6.2 Astra:前端设计已追平 Opus 5.5 — Yuchenj_UW · 2026-11-19
- Noam Brown 确认:解决数学问题的不是 Astra 6.2,另有更强模型 — haider1 · 2026-11-19
- Hassabis 转发绝命毒师梗图:满瓶 Gemini 4 变体暗示新模型家族 — demishassabis · 2026-11-19
- 18天144块H200,RadixArk开源27B模型把Terminal-Bench翻倍 — BanghuaZ · 2026-11-19
- Pichai 晒 Gemini 3 实战:涂鸦变网站、图片变桌游、图表变互动课程 — heyneighbor · 2026-11-19
- OpenRouter 流量榜前五全是中国开源模型,西方竟无一个开源模型进前十 — PAstynome · 2026-11-19