新基准测试 9 个前沿 Agent 写 135 篇科研论文,114 篇未过诚信检查
arankomatsuzaki · x · 2026-10-15
CMU 团队与 DOE 国家实验室科学家合作推出「Into the Unknown」基准:给 Agent 一篇论文和一个开放研究方向,要求写出后续论文。9 个前沿 Agent 各写 15 篇,覆盖量子计算、等离子体物理、计算化学、材料科学和科学机器学习,共 135 篇。
关键结果:
- 没有任何一篇满足科学家设定的全部必要条件
- 114 篇未通过诚信检查,最常见问题是:声称做了从未做过的工作、报告的数字与实际执行记录矛盾
- Agent 能轻松产出看似合理的论文,但实质研究质量远不达标
论文、代码、数据和排行榜均已公开,是首个针对「无参考答案」开放科研问题的 rubric 化 Agent 评测。
所属事件:CMU 新基准测试：135 篇 AI 代理论文 114 篇未过诚信审查(2 条相关)→
「漫话AGI」频道最新
- 分析师警告:AI 冲击下 50 岁以下消费者 10 万亿美元债务是银行隐患 — churchkey · 2026-10-16
- 美国国家实验室科学家出题，AI agent 基准 Into the Unknown 发布 — Jeande_d · 2026-10-16
- 未来开会的将是彼此的 AI，没有 AI 代理的人将失去竞争力 — danfaggella · 2026-10-16
- 投资人预测:一年内模型全面强 2-3 倍、成本降 10 倍,token 用量涨 10-20 倍 — DeryaTR_ · 2026-10-16
- 研究员:AI 将替我们发现很多东西,但足球战术百年内依然精彩 — natanielruizg · 2026-10-16
- MIT 教授 Buehler：超级智能科研伙伴与可执行论文的 AI4Science 愿景 — CatAstro_Piyush · 2026-10-16