前沿Agent测评：能搞定工程但搞不定科研
burny_tech · x · 2026-08-17
研究发现
- 测试方法：让 Agent 接手 NeurIPS 2026 两篇未发表论文的核心研究问题，由原作者评分。
- 资源投入：给予前沿 Agent 6 天时间和数千美元算力。
- 核心结论：Agent 在无人协助下完成了所有工程任务，但在回答研究问题上几乎毫无进展，两篇论文均被明确拒稿。
失败模式
- 对可发表研究的门槛判断差
- 对研究设计缺陷的反应缺乏创意
- 未能有效从死胡同回溯
- 资源意识薄弱
- 指令执行过程中发生漂移
「编程与Agent」频道最新
- Apple 代码签名耗时数小时,官方建议:等一周 — pjausovec · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- Flux 3 Klein 默认模板有坑:必须接 prompt upscaler 才能出好图 — StrictMove5839 · 2026-10-16
- 21 人团队 AI 写 97% 代码,每周数百 PR,16% 自动合并 — rseroter · 2026-10-16
- ClosedMCP:一次配置 MCP,跨平台团队共享的 Serverless 方案 — Ok_Sprinkles1301 · 2026-10-16
- Heisentools:用 AI agent 重写 mock 文件模拟任意服务测试 agent — kieranklaassen · 2026-10-16