18模型自主编程大比拼：最强闭合人类记录82%
AI寒武纪 · wechat · 2026-08-16
PrimeIntellect 进行了迄今最大规模的自主 AI 研究实验，将 18 个顶尖模型置于隔离沙箱中执行 nanoGPT 优化任务。实验旨在验证模型能否自主完成科学调优。
核心结论：
- 能力分层明显：Fable5 跑出 2726 步，闭合人类记录差距 81.7%；Opus5 与 KimiK3 紧随其后。部分模型如 GPT-5.5 表现接近随机水平。
- 差距源于研究品味：强模型（如 Opus5）懂得处理噪声，会回头重测失败的配方并消融分析，而弱模型易因单次失败放弃有效方向。
- 具备造工具意识：部分模型构建了内部数值实验室或采用多智能体（理论家、审计员）协作模式，在低成本的合成环境中验证假设后再投入昂贵训练。
- 缺乏新颖性：虽然执行力和理解力强，但所有模型未发现本质上的新方法，仅是对已知技术的组合与调优。
所属事件:Prime Intellect 最大规模 AI 自主研究实验：18 模型 153 次运行，Fable 5 缩小 82% 人类差距(18 条相关)→
「编程与Agent」频道最新
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16
- Sentry CEO 晒图：AI 实习生在 code review 里反驳人类同事 — zeeg · 2026-10-16
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 把 Claude Code 等 agent 轨迹攒成数据集，微调开源小模型 — Rasmic · 2026-10-16
- LangChain 工程师：仅靠生产 traces 自动生成 evals 远远不够 — BraceSproul · 2026-10-16
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16