Science's Last Exam 亮相:8个前沿模型最强仅37.5分,端到端科研全员0分
omarsar0 · x · 2026-11-06
AItonomy 基金会发布面向科研智能体的新基准 Science's Last Exam(SLE),由 Harvard、MIT、Stanford 等 34 家机构的博士生与博后撰写和审核,覆盖 9 个学科共 113 个公开任务。它不考问答,而是给智能体真实研究目标和工具(实验数据、软件、实验视频),考察假设发现、实验方案规划、科学计算、软件操作、湿实验读取、实验观察六大能力,并用隐藏的专家标准评分。
- 初始榜单上最强配置(Claude Code 中的 Claude Opus 5)综合得分仅 37.5/100
- 在真正的端到端研究赛道上,所有模型均为 0 分
- 团队预告 Claude Opus 5.5 与 GPT-6 Astra 结果即将公布(正在过生物安全审查)
- 基准与数据集将于 11 月 6 日全面开放
「模型」频道最新
- 博主实测:Gemini 4 Argon 爆款拆解力压 Opus 5.5,「20 刀很值」 — huangyun_122 · 2026-11-06
- 语音数据过滤模型 Accentus：拒真仅 2% 误拦高达 93% — HeyAmit_ · 2026-11-06
- EMNLP 论文：推理反而损害 pointwise 重排效果 — lintool · 2026-11-06
- OpenAI 网络安全模型扫出 948 个 Linux 漏洞与 111 个 Firefox RCE — gdb · 2026-11-06
- GPT-6.1 Sol 做 3 台小鼠脑部手术后,定位速度近乎翻倍 — 141_1337 · 2026-11-06
- Ripple-65B 单卡 DGX Spark 实测：代码 20.5 tok/s,散文仅 7.6 — DZhang50 · 2026-11-06