斯坦福发布 Terminal-Bench-Science:70 项科学任务最强模型仅解出 30%
geoffwolfe · x · 2026-09-23
斯坦福团队联合全球科研机构发布 Terminal-Bench-Science 0.1,把 Terminal-Bench 的思路从软件工程扩展到科学研究领域。核心理念是:科学 agent 基准应由真正做科学的人来构建,而非模型厂商或数据供应商。
- 任务规模:从 920 份提案中仅收录 70 项任务,覆盖生命、物理、地球、数学与工程五大科学领域,涉及数据分析、仿真、证明、代码和数据产品等真实科研工作流。
- 可验证性:每项任务配有可复现的、任务特定的测试来进行打分。
- 持续演进:作为持续更新的基准,在科研需求与 AI 前沿之间形成反馈循环。
- 成绩:最强模型 Claude Opus 5 在 0.1 版本上的任务解决率仅为 30%,显示科学工作流对当前 agent 仍是巨大挑战。
发布方 ReasonCore 还表示已有同类任务储备,可用于把真实科研流程转化为高难度的 agent 训练与评估任务。
所属事件:斯坦福发布科学智能体基准，最强模型仅解出三成(2 条相关)→
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」：模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12