斯坦福团队发布科学智能体基准 Terminal-Bench-Science
ArtificialAnlys · x · 2026-09-25
Terminal-Bench 团队与斯坦福等机构研究者推出 Terminal-Bench-Science，把 Terminal-Bench 对编程智能体的评测范式扩展到科研领域，0.1 版一周内即被前沿实验室纳入 Claude Fable 5.1 与 GPT-6 Astra 的发布成绩。
核心设计
- 与多数只考教科书知识、发布即荒废的科学基准不同，它按前沿水平定期更新版本，并形成「专家贡献任务→实验室评测改进→更好工具回流科研」的闭环。
- 任务覆盖生命、物理、地球、数学、工程五大科学领域，每条都是真实科研工作流，在容器化环境中以程序化方式验证。
评测方法
- Artificial Analysis 用统一 mini-swe-agent harness 跑所有模型，保证可比性，性能接近 Codex、Claude Code 等第一方 harness。
- 0.2 版征集贡献开放至 10 月 5 日，完整榜单已上线。
所属事件:斯坦福发布科学智能体基准，最强模型仅解出三成(2 条相关)→
「模型」频道最新
- Unsloth 发布 Dynamic V3.1 量化，宣称精度提升 10-15%、token 用量减半 — fiocalisti · 2026-11-12
- KRAFTON 开源 3.1B 混合注意力模型 Raon-1 nano,支持 26 万 token 上下文 — pmttyji · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12