实测AI做科研：烧钱跑数百实验，结果被原作者全盘否决
sayashk · x · 2026-07-31
研究团队探索了 AI agent 能否胜任开放式的 AI 研究。他们让 agent 针对两篇未发表论文的研究问题进行探索，提供了 6 天时间以及数千美元的 API 和算力额度，并由原论文作者对 AI 生成的论文进行评审。
结果，原作者们明确拒绝了 agent 的产出。这种测试被称为“影子评估”。
尽管 agent 在工程任务上表现出色（如文献综述、调试 GPU 环境、运行数百次实验和排版 LaTeX），但在提出假设、判断证据有效性和识别失败方向等开放式科研核心能力上，依然远不及人类研究员。
所属事件:影子评估实测：AI智能体开放式科研遭原作者全盘否决(12 条相关)→
「编程与Agent」频道最新
- 安全工程师自建 SSH MCP 层:让 Claude Code 碰服务器但不碰密钥 — NETMESAFE · 2026-10-16
- 「2026 年还拒绝用 AI 写代码，就像 2005 年拒绝用 Google」 — prasenx · 2026-10-16
- Claude Code 新增 idle compaction：闲置会话自动压缩保住缓存 — EricBuess · 2026-10-16
- Agent 长任务中途崩溃怎么办:难的是网络另一侧的不确定结果 — Responsible-Dare5139 · 2026-10-16
- OpenAI DevDay 社区黑客松落地柏林,设开发者/创始人/GTM 三赛道 — paw_lean · 2026-10-16
- 数据科学家转岗警报:会机器学习不够,AI 工程技能成新门槛 — mdancho84 · 2026-10-16