Prime Intellect 最大规模 AI 自主研究实验：18 模型 153 次运行，Fable 5 缩小 82% 人类差距
Prime Intellect 发布博客《Measuring Autonomous AI Research》，公布迄今最大规模的 AI 自主研究开放实验：18 个前沿模型在 8xH200 沙箱中对 nanoGPT 优化任务执行 153 次自主运行，单次最长 8 天。Fable 5 以 2,726 步位列第一，缩小 81.7% 的性能差距，Opus 5 和 Kimi K3 紧随其后；完整评测结果与运行追踪数据已全部开源，为评估前沿模型长周期自主科研能力提供了可复现的公开基准。
已确认
- 实验设置：任务为 nanoGPT 优化器速通赛道，环境为 8xH200 沙箱。据 @新智元 转述，沙箱采用 bwrap 加网络命名空间的断网隔离，每场独占 8×H200 节点，模型完全自主运行最长 8 天，不改架构。
- 运行规模：共 153 次自主运行，测试 18 个前沿模型，名单包括 GPT-5.6、Claude、DeepSeek V4、Kimi K3 等。
- 排行榜结果：Fable 5 以 2,726 步位列第一，缩小 81.7% 的性能差距；Opus 5 和 Kimi K3 分列其后。@AI寒武纪 转述核心结论称，18 个模型能力分层明显，Fable 5 处于第一梯队。
- 人类基准：最佳运行缩小的是由数十名人类花费数月建立的记录。
- 数据开源：完整评测结果与各模型运行追踪数据已全部开源。
- 规模对比：@arohan 称这是自主智能体在研究环境中迭代的最大规模公开实验，在运行时长、算力、模型多样性与工具框架上均有扩展，并与 OpenAI/Anthropic 系统卡片中的任务（如 Anthropic 在 CPU 上进行 LLM 训练优化）作了对比。
- 多智能体框架：据 @量子位 报道，Prime Intellect 提出多智能体框架 PrimeIntellect Harness，将监控和实现任务交给低成本模型，在 nanoGPT 优化实验中大幅降低「AI 开发 AI」的成本，展示低成本 AI 研发路径。
尚未确认
- 帖子 m15 提及让 Codex (GPT 5.5) 与 Claude Code (Opus 4.7) 自主迭代约 10,000 次运行并击败人类基准，其模型版本号与运行次数（10,000 次）同主帖的 GPT-5.6/Opus 5、153 次不一致；部分转发帖（m2、m3、m4、m5、m7、m10、m13）写作 10+ 模型、100+ 次运行，疑为概数表述，无法确认是否均指同一实验。
为什么重要
- 这是目前规模最大的开放自主科研评测之一，完整数据开源使其成为可复现的公开基准，可对 18 个前沿模型的自主研究能力做横向比较。
- 最佳运行已缩小逾八成与人类基准的差距，直接检验了 Agent 在真实算力沙箱中长周期自主迭代的能力。
- PrimeIntellect Harness 展示了用低成本模型承担辅助角色、降低 AI 自研成本的可能性，为「AI 开发 AI」提供了工程路径参考。
- Reddit 用户 adssidhu86 评价该实验是探索 AI 自我改进的好开始，但关键问题在于信号是否可泛化——单一基准上的成绩能否代表更广泛的自主科研能力，仍需谨慎解读。
2026-08-16 ~ 2026-08-18 · 18 条相关
一手来源
- 博客：测量自主 AI 研究，153 次运行实测前沿模型 — eliebakouch ·
- 自主研究排行榜：Fable 5 第一，Kimi K3 紧随其后 — eliebakouch ·
- NanoGPT 优化赛跑评测：18 个前沿模型的 153 次自主运行结果全开源 — samsja19 ·
- 18 模型自主研究实验：Fable 5 缩小 82% 性能差距 — eliebakouch · 2026-08-16
- 【源头】博客：测量自主 AI 研究，153 次运行实测前沿模型 — eliebakouch · 2026-08-16
- 【源头】自主研究排行榜：Fable 5 第一，Kimi K3 紧随其后 — eliebakouch · 2026-08-16
- 前沿模型AI研究实验：最佳运行结果闭合82%人类差距 — eliebakouch · 2026-08-16
- AI 自动化研究跑通 nanoGPT，击败人类基准 — eliebakouch · 2026-08-16
- 【源头】NanoGPT 优化赛跑评测：18 个前沿模型的 153 次自主运行结果全开源 — samsja19 · 2026-08-16
- 最大规模自主 Agent 实验曝光，对比优化器性能 — _arohan_ · 2026-08-16
- 18模型自主编程大比拼：最强闭合人类记录82% — AI寒武纪 · 2026-08-16
- AI自我改进实验：NanoGPT Speedrun Frontier的启示与局限 — adssidhu86 · 2026-08-16
- PrimeIntellect 开源 8 天前沿模型自主研究完整追踪数据 — burny_tech · 2026-08-17
- 前沿模型自主 AI 研究能力实验结果 — eliebakouch · 2026-08-17
- DeepSeek V4 Pro思维链有趣；AI自主研究实验缩小与人类差距 — burny_tech · 2026-08-17
- 18个模型断网自主科研8天，Fable5追回人类82%差距 — 新智元 · 2026-08-17
- 开源架构也能跑赢 GPT-4？PrimeIntellect 展示低成本 AI 研发路径 — 量子位 · 2026-08-17
- 迄今最大规模开源自主智能体实验：多模型在研究环境中持续迭代 24 小时 — eliebakouch · 2026-08-18
另有 3 条近重复转述:eliebakouch · inductionheads · burny_tech