影子评估实测：AI智能体开放式科研遭原作者全盘否决
一项最新预印本研究提出了名为“影子评估”的测试框架，旨在检验前沿AI智能体能否胜任开放式的科学研究。实验中，智能体接手了两篇未发表NeurIPS论文的核心开放性问题，在拥有6天时间与数千美元API额度及算力的情况下自主探索。最终，原论文作者对AI生成的研究论文进行了评审并全盘否决。该研究指出智能体在开放式研究中存在明显瓶颈，为盲目乐观的“AI自动科研”叙事提供了重要的降温依据。
已确认
- 研究团队提出了“影子评估”测试框架，让AI智能体针对两篇未发表的NeurIPS提交论文的核心开放性问题进行自主探索。
- 实验为智能体提供了6天时间以及数千美元的算力与API额度，期间运行了数百次实验。
- 原论文作者对AI生成的论文进行了严格评审，并全部予以否决。
- 智能体在结果容易验证的工程代码任务上表现尚可，但在需要自主提出假设和判断证据有效性的开放式研究中表现挣扎。
- 研究总结了智能体在处理开放式任务时反复出现的五种失败模式。
尚未确认
- 作者指出目前的负面结果属于初步结论，后续仍存在样本量限制以及脚手架改进的空间，智能体的科研潜力有待进一步评估。
为什么重要
- 当前对AI智能体的评估多集中于狭窄、易验证的任务，而真实的科学研究往往是目标不明确的开放式探索。该研究直击这一痛点，不仅揭示了当前大模型在深度创新任务中的巨大瓶颈，也为评估AI智能体的真实科研能力提供了一个极具参考价值的基准框架。
2026-07-30 ~ 2026-08-01 · 12 条相关
- 第 1 集:影子评估实测：AI智能体开放式科研遭原作者全盘否决(2026-07-30,12 条)
- 第 2 集:AI执行力强但缺乏元认知，做学术研究像应付作业(2026-07-30,2 条)
- 第 3 集:实测AI智能体自主科研：6天花3000美元论文全被拒(2026-08-01,2 条)
- 实测前沿 AI 智能体：能搞定工程代码，但做不了开放式科研 — Peter Kirgis · 2026-07-30
- 实测AI做科研：烧钱跑数百实验，结果被原作者全盘否决 — sayashk · 2026-07-31
- 智能体难以胜任开放式 AI 研究：新预印本揭示五大失败模式 — random_walker · 2026-07-31
- 实测前沿AI智能体：开放式研究全被拒，能力仍存瓶颈 — sayashk · 2026-07-31
- 实测AI智能体做开放性研究：给足算力与时间，仍被原作者全票否决 — sayashk · 2026-07-31
- AI 智能体能否胜任开放式科学研究？ — ChenhaoTan · 2026-08-01
- AI 智能体搞科研被全盘否定：开放式研究自动化仍遥不可及 — sudoraohacker · 2026-08-01
另有 5 条近重复转述:sayashk · sayashk · sayashk · sayashk · RexDouglass