Terminal-Bench-Science 使所有模型通过率降超10%
sanmikoyejo · x · 2026-08-28
Terminal-Bench-Science 在区分前沿模型方面与 Terminal-Bench 3.0 效果相当，但将所有评测模型的通过率拉低了超过 10 个百分点。具体数据：Opus 5 从 43% 降至 30%，GPT-5.6 Sol 从 34% 降至 22%，Fable 5 从 34% 降至 21%。这表明该基准任务对 AI 智能体具有更高的挑战性。
所属事件:斯坦福发布 Terminal-Bench-Science，Opus 5 通过率仅 30%(19 条相关)→
「研究」频道最新
- Cohere Labs 世界模型公开课第 4 期：一文理清 DreamerV1-V4 架构演进 — Cohere_Labs · 2026-10-16
- Reasonable 用 3000 条 Verus 证明后训练 Nemotron 3.5,pass@1 提至 73.3% — fhuszar · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16