Stanford 发布 Terminal-Bench-Science:Claude Opus 5 仅过三成
realsohamparekh · x · 2026-08-28
Stanford 牵头的社区项目发布 Terminal-Bench-Science(v0.1,70 个任务),评测 AI 智能体跨科学领域的研究工作流,由 Terminal-Bench 团队与全球科研机构领域专家共建。Claude Opus 5 解决率仅约 30%。
有用户梳理了其任务设计哲学:明确排除教科书式微分方程、常规 CSV 清洗、本科级 ML 练习、文献综述,以及「查一个冷门事实即可解决」的任务(这条很有意思)。作为 0.1.0 版本,其后续演进值得期待。
所属事件:斯坦福发布 Terminal-Bench-Science,Opus 5 通过率仅 30%(19 条相关)→
「研究」频道最新
- RLVR 微调致解空间坍缩,加入 replay 缓冲可保多样性并提升 pass@8 — manoelribeiro · 2026-10-15
- ModeBench 揭示 RLVR 让 LLM 只会一种解法,Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- NYU 团队推出 SCOOP:用策略协调循环让 LLM 学会真正探索 — jaseweston · 2026-10-15
- Google WeatherNext 助 NHC 预报飓风 Isaias,提前 3 天锁定路径误差 60 公里内 — PeterWBattaglia · 2026-10-15
- MIT 用简单局部突触规则让神经网络自建学习机制 — ChuckDBrooks · 2026-10-15
- 中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理 — ustc-community · 2026-10-15