Terminal-Bench-Science 发布:Claude Opus 5 仅解约 30% 科研任务
BenBlaiszik · x · 2026-08-28
Stanford 牵头的社区项目发布 Terminal-Bench-Science:一个评估 AI agent 在跨学科科研工作流上表现的基准,v0.1 含 70 个任务,由 Terminal-Bench 团队与全球科研机构领域专家共建。
亮点结果:Claude Opus 5 仅解决约 30% 的任务。其中计算化学方向的 X 射线衍射物相分析任务(全球数千化学家的日常工作)中,最强前沿模型在最大努力模式下鏖战数小时,最终仍无法达到专家科学判断的门槛。团队期望该基准推动模型在前沿科学上的能力提升。
所属事件:斯坦福发布 Terminal-Bench-Science，Opus 5 通过率仅 30%(19 条相关)→
「研究」频道最新
- Halcyon：0.52B 参数省 18 倍算力超越 LlamaGen-XL/8 文生图基线 — JosephJacks_ · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16