AI 科学家有了新标尺:从“考试”转向真实发现闭环
量子位 · wechat · 2026-08-24
由深度原理、微软、斯坦福等机构联合发布的论文《Measuring AI Scientists: From Exams to Discovery》,提出了“发现回合(discovery episode)”评估体系,改变了以往仅靠 HLE 闭卷考试衡量 AI 科研能力的模式。新体系全程记录 AI 在“假设→设计实验→执行验证→迭代优化”全周期的决策轨迹,重点考核实验结果的科学性与真实性,并将失败数据视为核心资产。作为该体系的应用样本,深度原理的 MIRA 平台在 ResearchClawBenchmark 和 ScienceAgentArena 评测中均位列第一,展示了跨干湿实验室的闭环科研能力。
「研究」频道最新
- 手推一个两层小网络,讲透反向传播与梯度更新全过程 — techNmak · 2026-10-06
- 新方法只解剖任务相关权重,让可解释性分析便宜到可日常使用 — CatAstro_Piyush · 2026-10-06
- 用曼德博集合争论程序本质:算过的结果还算计算吗 — ctjlewis · 2026-10-06
- 研究称社交媒体对青少年幸福感影响仅解释 0.4% 差异 — asusarla · 2026-10-06
- 斯坦福开源 DITTO-X:力反馈遥操作机器人手可反向驱动人类操作员 — CyberRobooo · 2026-10-06
- Cisco 实测决策模型:零样本安全分类逼平 31B LLM 裁判 — aminkarbasi · 2026-10-06