实测 AI 智能体做科研：烧钱跑六天，原论文作者全盘否定
sayashk · x · 2026-07-31
当前对 AI 智能体的评测多局限于狭窄、易验证的任务，但真实的科学研究往往是开放式的。研究人员进行了一项“影子评测”：给 AI 智能体提供两篇未发表论文的研究问题，并配以六天时间以及价值数千美元的 API 额度和算力。
结果显示，智能体在工程任务上表现得相当熟练，但在提出假设、决定合适证据以及识别失败路径等核心科研环节上表现不佳。最终，原作者对 AI 生成的论文进行了严格评审，并给出了明确的否定评价。
所属事件:影子评估实测：AI智能体开放式科研遭原作者全盘否决(12 条相关)→
「编程与Agent」频道最新
- 安全工程师自建 SSH MCP 层:让 Claude Code 碰服务器但不碰密钥 — NETMESAFE · 2026-10-16
- 「2026 年还拒绝用 AI 写代码，就像 2005 年拒绝用 Google」 — prasenx · 2026-10-16
- Claude Code 新增 idle compaction：闲置会话自动压缩保住缓存 — EricBuess · 2026-10-16
- Agent 长任务中途崩溃怎么办:难的是网络另一侧的不确定结果 — Responsible-Dare5139 · 2026-10-16
- OpenAI DevDay 社区黑客松落地柏林,设开发者/创始人/GTM 三赛道 — paw_lean · 2026-10-16
- 数据科学家转岗警报:会机器学习不够,AI 工程技能成新门槛 — mdancho84 · 2026-10-16