SciΠvot 基准:前沿模型科研判断力不及人类,常偏爱有缺陷方案

Youran Sun · hf · 2026-10-19

马里兰大学、港中文、斯坦福等团队发布 SciΠvot 基准,评估 LLM 科研自动化 agent 在关键时刻的「PI 判断力」——即科研负责人在方案抉择上的决策能力。基准包含 248 个人工校验的案例,覆盖自动科研流程中的关键决策点。

核心发现:前沿模型经常偏好有缺陷的研究方案而非专家给出的修正意见,整体表现低于人类水平。代码与数据已在 GitHub 开源(AutoResearch-Factory/SciPIvot)。