SDABench评测LLM科学发现能力
HKUST · hf · 2026-07-16
## SDABench：面向“科学发现能力”的LLM基准 这项工作指出，现有科学数据分析基准往往只看代码执行或流程完成，忽略了科学分析本身对应的不同类型主张：假设探索、统计推断、机制解释等。作者因此提出 **SDABench**，把评测重心改为六类能力：描述、探索、推断、预测、因果、机制。 ### 基准构成 - 覆盖 5 个领域：生物、化学、环境、地理、物理 - 包含 **527** 个真实数据样本（SDA-Real）和 **6000** 个合成样本（SDA-Synth） - 每个样本都提供选择题和开放题两种形式 - 通过自动化流程构建 ### 主要发现 - 评测了 15 个代表性 LLM - 模型在**描述性分析**上表现较好 - 一旦涉及**假设选择、潜在过程建模、机制推理**，性能就明显下降 - 更强的模型更擅长识别相关范围和变量，但仍常在以下步骤失误： - 选择合适的分析方法 - 建立变量关系 - 得出有效结论 ### 额外贡献 作者还提出一个五阶段错误分析框架，用来定位 LLM 在科学分析链条中的具体失效环节。