实测前沿 AI 智能体：能搞定工程代码，但做不了开放式科研
Peter Kirgis · hf · 2026-07-30
当前 AI 智能体能否胜任开放式的 AI 研究？本文提出了一种名为“影子评估（Shadow Evaluations）”的测试框架来寻找答案。
研究者让前沿 AI 智能体接手两篇高质量未发表论文的核心开放性问题，并为它们提供 6 天时间以及数千美元的算力。实验结果表明，智能体能够在无人类干预下完成所有工程代码编写，但在实质性解答研究问题方面未能取得突破，最终被原作者明确“拒稿”。
研究总结了智能体在科研中的 5 种典型失败模式：
- 对可发表研究的门槛缺乏判断力
- 面对研究设计缺陷时缺乏创造力
- 难以从死胡同中有效回溯
- 资源（算力/时间）感知能力差
- 指令漂移（偏离核心目标）
结论是：目前的智能体已能胜任 AI 研究中的“工程”部分，但在科研生命周期的关键环节仍力不从心。
所属事件:影子评估实测：AI智能体开放式科研遭原作者全盘否决(12 条相关)→
「编程与Agent」频道最新
- ThePrimeagen 调侃:给了无限 token,产出还是个 Electron 应用 — seatedro · 2026-10-17
- 长文详解 Generative UI:让 Agent 用活界面回答而非文字墙 — EXM7777 · 2026-10-17
- MCP 工具上线前审查:安全发现不过关,测试满分也不放行 — SamuelFmedeiros · 2026-10-17
- DeepSeek 视觉能力快速进化：Agent 可自查截图迭代建 3D 场景 — cedric_chee · 2026-10-17
- 被客户赖账500美元一年后，他让AI Agent自主打电话催债 — curious_vii · 2026-10-17
- AI:AM 播客文字版：agent 权限失控、隐藏效价与形式化验证抓内核 bug — The Cognitive Revolution · 2026-10-17