清华牵头发布OSWorld-Science：12个模型做146项科研软件任务仅得34.3分

机器之心 · wechat · 2026-10-13

清华大学牵头、联合 UCLA、耶鲁、CMU、斯坦福、东京大学等机构发布 OSWorld-Science：面向真实科研场景的计算机使用智能体评测基准，含 146 项专家设计任务，覆盖 7 大科学领域、14 种科研软件（如 Mnova 核磁共振、SAS 统计、QuPath 病理图像、ANSYS 仿真），以任务结束后的文件产物与应用状态来验证结果。

12 个视觉语言模型平均任务得分仅 34.3%：Claude Fable 5.1 以 73.7% 领先，Opus 5 和 GPT-6 Astra 约 58%，但分学科差异巨大——化学任务仅少数模型得分超 20%。失败分析发现 61% 的失败运行没有留下可评分产物；有模型因坐标偏差在同一位置点击 39 次耗尽预算。研究还揭示了「自我检查失灵」现象：围绕同一错误表示的一致性检查发现不了错误，需要独立证据做科学验证。基准、数据与代码均已开源，团队计划扩展任务并欢迎共建。