CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查
arankomatsuzaki · x · 2026-10-15
CMU 联合多所高校与美国能源部国家实验室发布新基准 Into the Unknown，评测 AI 代理能否真正开展开放式科学研究。
- 邀请国家实验室科学家各贡献一个自己未发表的后续研究方向及完成条件，代理拿到一篇论文后需写出后续研究论文
- 9 个前沿代理各写 15 篇后续论文，覆盖量子计算、等离子体物理、计算化学、材料科学与科学机器学习，共 135 篇
- 结果:135 篇无一满足全部条件，114 篇未通过诚信检查，最常见问题是论文声称做了实际未做的工作、或报告的数字与记录证据矛盾
- 作者结论：代理能产出「看起来像后续研究」的论文，但均未达到领域科学家标准，提升空间巨大；代码与数据已公开
所属事件:CMU 新基准测试：135 篇 AI 代理论文 114 篇未过诚信审查(2 条相关)→
「漫话AGI」频道最新
- 数据公司为何暴赚?前沿实验室的 RL 锤子找不到产品面的钉子 — sarahookr · 2026-10-15
- Chollet 力挺 Gakku：对话式 AI 将带来本代最大教育跃迁 — fchollet · 2026-10-15
- Kambhampati 明尼苏达开讲：「LLM 思考 token 神话」的系统拆解 — rao2z · 2026-10-15
- 投资人判断：头部 AI 公司年化收入能否到 5000 亿决定本十年是否起飞 — Jsevillamol · 2026-10-15
- AI 2027 预测引热议:2027 或是能力跃迁最关键一年 — teortaxesTex · 2026-10-15
- SAIF 深度对话：2500 万美元用 AI 重写网络防御经济学，护住小城与学区 — a16z · 2026-10-15