ScienceArena 基准:模型做化学题遇结构图,得分掉近 10 个点
geoffwolfe · x · 2026-09-27
Qiyuan Tech 与北大、清华等团队合作发布 ScienceArena,一个基于最新科学奥赛(13 个竞赛年度数据集)评测 LLM 科学推理的基准,旨在应对基准饱和与数据污染问题。
核心发现:
- 需要分子结构图的化学题,模型平均只得 64.5% 的分,而无结构图题可达 74.1%,差距近 10 个百分点
- 说明模型能写出流畅的反应「故事」,但在必须锁定具体分子结构时表现明显下滑
- 作者主张评测应考察模型对结构的真实承诺,而非流利的科学散文
对化学等需要精确结构输出的科学推理任务,当前 LLM 仍有系统性短板。
「模型」频道最新
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- 百度 ECHO 多 token 预测:复用最后一层打草稿,一次核对出多字 — xiaohu · 2026-11-11
- 文心 5.5 Flash Preview 架构拆解:280B 参数每 token 仅激活 14B — xiaohu · 2026-11-11
- 文心 5.5 纯 Python 逐帧画出 117 秒《鹈鹕测试》,还能卡鼓点剪辑 — xiaohu · 2026-11-11
- 百度开源文心 5.5 Flash Preview:连写 11 小时代码做出武侠游戏 — xiaohu · 2026-11-11
- 3.5万个 Grok 生成应用裸奔泄露患者数据与明文密码 — The Decoder · 2026-11-11