给 AI 一万美元做开放研究：GPT-6 Astra 与 Claude Fable 5.1 论文仍被专家拒稿
sayashk · x · 2026-10-21
Sayash Kapoor 等研究者更新了针对「AI 智能体做开放式 AI 研究」的评测结果。与聚焦狭窄可验证任务的常见评测不同，他们测试前沿模型能否独立完成开放式科研。
- 实验设计：从两篇未发表论文中提取研究问题，给智能体数千至一万美元的 API 额度和算力，由原论文作者按 NeurIPS 流程评审 AI 写出的论文
- 7 月首轮：Claude Opus 4.8 与 GPT-5.6 Sol 产出的两篇论文均被拒
- 9 月跟进：测试新发布的 GPT-6 Astra 与 Claude Fable 5.1（预算一万美元）。实验设计与资源管理有明显进步，但在创造性解题、判断力、校准和表达上仍有持续短板，两篇论文仍被专家明确拒稿；四篇论文总体评分仅 1-2/6
- 后续：团队计划用更强模型、更好 scaffold 和更高预算继续这项长期评测，并招募合作者
结论：即便最新前沿模型在结构化科研流程上进步显著，独立产出可发表水平的原创研究仍相去甚远。
所属事件:前沿 AI 自主科研论文遭专家评审全部拒稿(2 条相关)→
「研究」频道最新
- UC Berkeley 团队开源 SkyDiscover:用 AI 自动发现算法并组装系统 — CShorten30 · 2026-10-21
- Viggle AI 发布 JST-2：首个全栈物理原生 3D 世界基础模型 — Roger_M_Taylor · 2026-10-21
- 天又发现一颗行星候选,并复盘它此前为何被漏检 — IgorCarron · 2026-10-21
- 斯坦福团队推 ScholarCatalyst:专测 AI 检索可启发科研的早期文献 — lateinteraction · 2026-10-21
- 借助 AI 沟通发现 17/19/23 曲线简单对称 Venn 图，经 Lean 4 形式化验证 — pickover · 2026-10-21
- Pathway CEO 撰文:Transformer 不够,超级智能需要会积累经验的模型 — schwentker · 2026-10-21