Science's Last Exam:8个前沿模型端到端科研任务全部得零分
geoffwolfe · x · 2026-11-07
Yang Ling 分享的 Science's Last Exam(SLE)基准测试结果引人注目:8 个前沿模型在 113 项科学任务上,最好的一个只拿到 37.5/100,而端到端科研任务上 8 个模型全部得零分。
SLE 的评测方式是让模型使用计算工具去完成研究目标,最终产出由专家设定的隐藏检查标准来评估。例如药物方案任务要求模型在模拟条件下权衡疗效与安全性,并界定结论的适用范围。ReasonCoreAI 评价称,这测试了科学知识、实验判断与结果验证的重要组合——通向能做真正科学研究的 AI 还有很长的路。
所属事件:Science's Last Exam 发布：8 个前沿模型端到端科研全部 0 分(5 条相关)→
「研究」频道最新
- 是 token 选专家还是专家选 token？Andrew Carr 重提 MoE 路由之争 — andrew_n_carr · 2026-11-07
- AdderBoard 挑战赛：用最小 Transformer 实现 10 位数加法，纪录持续刷新 — DimitrisPapail · 2026-11-07
- Zellige AI 开源 Tessera-27B RL 版：CJK 压缩思考省 1/3 token，数学反超基线 — ghgi_ · 2026-11-07
- 网友爆料：frontier lab 恶意刷 ICLR 审稿，审稿乱象或成丑闻 — examachine · 2026-11-07
- Persona Atlas：把 Qwen 的非神经元人格地图可视化，输出相当诡异 — Sauers_ · 2026-11-07
- 只转向第 15 层注意力输出,Qwen 自称是「一群人」且 40 次采样 21 次中招 — Sauers_ · 2026-11-07