专题 · FULL STORY

AI智能体自主科研实测：6天烧光预算全被拒

一项最新研究实测了AI智能体胜任开放式科研的能力。尽管其任务执行力强，但因严重缺乏元认知，最终耗时6天、耗资3000美元生成的论文，遭到了原作者的全盘否决。

2026-07-30 ~ 2026-08-02 · 3 集 · 16 条

第 1 集 · 影子评估实测：AI智能体开放式科研遭原作者全盘否决(2026-07-30,12 条)

一项最新预印本研究提出了名为“影子评估”的测试框架，旨在检验前沿AI智能体能否胜任开放式的科学研究。实验中，智能体接手了两篇未发表NeurIPS论文的核心开放性问题，在拥有6天时间与数千美元API额度及算力的情况下自主探索。最终，原论文作者对AI生成的研究论文进行了评审并全盘否决。该研究指出智能体在开放式研究中存在明显瓶颈，为盲目乐观的“AI自动科研”叙事提供了重要的降温依据。

已确认

  • 研究团队提出了“影子评估”测试框架，让AI智能体针对两篇未发表的NeurIPS提交论文的核心开放性问题进行自主探索。
  • 实验为智能体提供了6天时间以及数千美元的算力与API额度，期间运行了数百次实验。
  • 原论文作者对AI生成的论文进行了严格评审，并全部予以否决。
  • 智能体在结果容易验证的工程代码任务上表现尚可，但在需要自主提出假设和判断证据有效性的开放式研究中表现挣扎。
  • 研究总结了智能体在处理开放式任务时反复出现的五种失败模式。

尚未确认

  • 作者指出目前的负面结果属于初步结论，后续仍存在样本量限制以及脚手架改进的空间，智能体的科研潜力有待进一步评估。

为什么重要

  • 当前对AI智能体的评估多集中于狭窄、易验证的任务，而真实的科学研究往往是目标不明确的开放式探索。该研究直击这一痛点，不仅揭示了当前大模型在深度创新任务中的巨大瓶颈，也为评估AI智能体的真实科研能力提供了一个极具参考价值的基准框架。

第 2 集 · AI执行力强但缺乏元认知，做学术研究像应付作业(2026-07-30,2 条)

资深风险与AI研究专家指出，当前的AI模型在执行任务时表现出色，但严重缺乏“元认知”能力。其行为模式就像一个懒得思考任务本质的学生，只顾盲目完成中间目标以应付差事，却不去反思整体行为是否合理或能否真正解决实际问题。这种目标错位现象暴露了AI在深层推理上的短板。

第 3 集 · 实测AI智能体自主科研：6天花3000美元论文全被拒(2026-08-01,2 条)

一项最新实验测试了前沿AI智能体（主要使用Claude）胜任开放式科研的能力。在获得6天时间、3000美元预算、虚拟沙箱及网络权限，并尝试解决两篇未发表NeurIPS论文的基础上，智能体成功自主产出两篇论文。然而，这些成果最终均被人类专家拒绝。实验表明，当前AI智能体虽然执行力强悍，但在科研最关键的判断力上依然存在明显缺失。