Science's Last Exam 发布:8 个前沿模型端到端科研全部得 0 分
anshulkundaje · x · 2026-11-06
AItonomy Foundation 联合 34 家机构(哈佛、MIT、斯坦福等)的研究者发布科学智能体基准 Science's Last Exam(SLE),11 月 6 日全量开放。
- 与传统问答不同,SLE 给智能体真实科研目标与实际工具(实验数据、软件),并用隐藏的专家校验打分
- 由 5 个国家 34 家机构的博士生与博后编写,共 113 个公开任务,覆盖 9 个学科、6 项能力(假设发现、方案规划、科学计算、软件操作、湿实验执行、实验观察)及 1 个端到端研究任务
- 结果堪称现实检验:8 个前沿模型中最好的仅得 37.5/100,而真正的端到端科研任务所有模型均得 0 分
- 团队预告 Claude Opus 5.5 与 GPT-6 Astra 将在生物安全护栏清理后参与评测
所属事件:科研智能体基准SLE发布:前沿模型端到端科研全部0分(2 条相关)→
「漫话AGI」频道最新
- Polymarket:年内通过 AI 安全法案概率仅 9%,2027 年中前 83% — Polymarket · 2026-11-06
- 学者 Matt Beane 休学术假全力开发 SkillBench,破解 AI 时代技能退化 — mattbeane · 2026-11-06
- 斯坦福团队获 1000 万美元资助,研究人类如何与 AI 智能体协作 — Diyi_Yang · 2026-11-06
- Every 发布自动化后人类工作的新愿景长文 — every · 2026-11-06
- Krueger 与 Hobbhahn 激辩模型威胁模型:scheming 并非唯一危险 — MariusHobbhahn · 2026-11-06
- AI 2027 作者回应 METR 数据:进度比预测还要快 — DKokotajlo · 2026-11-06