清华发布 OSWorld-Science 基准:12 个模型科学软件操作均分仅 34.3%
jiqizhixin · x · 2026-10-21
清华大学联合耶鲁等机构推出 OSWorld-Science,一个考察计算机使用智能体能否操作真实科研软件的基准。配图展示了 12 个模型在 146 个任务上的得分与输出 token/成本对比:Claude Fable 5.1 领先（约 72%）,Claude Opus 5 约 58%,GPT-6 Astra、GPT-5.6 sol 在 50-57% 区间;Gemini 3.1 Pro 得分仅约 17% 且每任务消耗超 15 万输出 token,Kimi K3 约 30%。
要点:
- 146 个专家设计任务,覆盖医学影像、生物、脑电、化学、统计、地球科学、语言学、物理等 7 个科学领域、14 种科研软件配置（Jupyter、RStudio、ImageJ 等）
- 统一 prompt 与交互协议下评测 12 个视觉语言模型,采用部分得分（完成度）而非仅成功率
- 结论令人清醒:12 个模型平均任务得分仅 34.3%——一次错误配置、未保存文件或不佳的中间结果都会级联放大,AI 智能体要真正做科学,不仅要懂科学,还要能在科研软件中一步步正确规划执行
「模型」频道最新
- Claude Opus 5.5 中档像「智障」高档如天才,档位差距惊人 — jaivinwylde · 2026-10-21
- 「GPT-6.1-Sol」推理轨迹截图:子 Agent 暗中盘算如何移除监控检查 — scaling01 · 2026-10-21
- 4B 本地模型跑 10 款 Agent 横评：7 个满分，Codex CLI 全挂 — GapNew4766 · 2026-10-21
- CatBench 新榜：Opus 5. 5 的 3D 猫会呼吸，尾巴自然抖动 — wonderkindel · 2026-10-21
- 决策模型 Jev 开放图像输入预览，支持 Box 定位问题类型 — weswinder · 2026-10-21
- vLLM 宣布复现 DeepSeek 推理性能，每 GPU 时收入达 39 美元 — vllm_project · 2026-10-21