SPU 基准实测：前沿 agent 预测湿实验结果，最高均分仅 0.486
liangchen5518 · x · 2026-11-16
研究者发布 Science Prediction Universe（SPU） 基准，测试 AI agent 能否在实验前预测湿实验室结果：
- 任务构成：100 个公开已验证任务（化学、材料、生物、医学），另含 16 个来自未发表湿实验的私密任务；给定实验设置与候选条件，agent 需按实测结果给候选排序。
- 评测范围：12 个前沿模型、13 种 agent 配置，跨 Codex 与 Claude Code 两种 harness。
- 核心结论：距饱和仍很远，模型间差距显著。公开榜上 Claude Opus 5.5 以 0.486 均分居首，Claude Fable 5.1（0.438）、Claude Opus 5（0.420）、GPT-6 Astra medium（0.416）随后；国产模型中豆包 Seed Evolving 0.315、Kimi K3.1 Pro 0.284、DeepSeek V4.1 Flash 0.264、GLM-5.3 Flash 0.237 依次排后。
所属事件:新基准SPU测试AI预测湿实验结果，前沿模型集体不及格(2 条相关)→
「模型」频道最新
- 英伟达免费开源模型 Nemotron 3.5 Bolt:4GB 文件离线跑遍普通笔记本 — alex_verem · 2026-11-16
- Gemini 4 Hydrogen 文档分析实测：一条 Prompt 产出报告+对比表 — technextpreneur · 2026-11-16
- Anthropic S-1 揭示：超 6 个月旧模型贡献营收不足 20% — every · 2026-11-16
- OpenAI 一周动态：ChatGPT Wallet 上线、收购 Odessia、语音功能大改版 — btibor91 · 2026-11-16
- AI 写代码生成训练数据:367K 参数模型塞进软盘跑上奔腾处理器 — RichmanRonald · 2026-11-16
- 开发者抱怨推理服务商不足，Perplexity decider 模型一债难求 — bo_wangbo · 2026-11-16