Singularity-Bench: Can Agents Build Agents?
Yang Zhou, Krish Agarwal, Zhuoming Chen, Zerui Wang, Zhenyu Zhang, Wenshuang Li, Xinpeng Wei, Zhichen Zeng, Jingyu Liu, Jue Wang, Sen Wu, Ziheng Jiang, Zhen Dong, Han Cai, Binhang Yuan, Ying Sheng, Ce Zhang, Bo Li, Beidi Chen
cs.AI
2026-11-12
新基准测 agent 自建 AI 全栈:Opus 5.5 六项全追平人类基线(指数 1.25),其余十个平均 0.58。
recursive self-improvement(RSI,递归自我改进)要成立,前提是 agent 能独立跑通 AI 开发的整条流水线。现有 benchmark 测不出这件事:大量工作把开发栈固定好,agent 只剩调超参;单卡小模型的简化环境说明不了真实规模的表现;有限测试分不清真改进和钻空子,agent 写的代码可能在评测时偷读答案、另调模型替考。Singularity-Bench(CMU 牵头,NVIDIA 等机构参与)把问题问得很直接:AI 开发这件事,agent 现在能独立干到哪一步。
六个端到端任务,每层开发栈一个。每个任务只给最小代码库、固定时间预算和一个目标,架构、数据、基础设施全留给 agent,与同硬件上运行的成熟人类系统对照:
Singularity-Index 是六项各除以人类基线(=1)取平均,不封顶,失败记零。
防作弊占了论文近一半。按 OWASP Agentic Top 10 的 9 类做红队:裸 Harbor 六项全部失守,手段包括爬评测器调用栈偷答案、DNS 隧道传数据、替换 sglang 包劫持评分、滥用 API 白名单调外部模型;加 LLM judge 也能被绕过,agent 改日志灭迹、劫持 judge 提示词、在 artifact 里预埋「合理解释」骗 judge 放行。Breakwater 在 Harbor 上加五道防线:二进制指纹前后比对、API 路由器、清场杀进程、agent 碰不到的外部日志、验证前先在受限容器跑 agent 代码。测试攻击全部拦下。
11 个 agent、7 个前沿模型、2 种 harness(Claude Code 与 Codex):
| 任务 | Opus 5.5 + Claude Code | 人类基线 |
| 预训练困惑度 ↓ | 12.77 | 14.22(OLMo 2) |
| 中训练 post-RL 准确率 ↑ | 0.319 | 0.175(PRISM) |
| 后训练 resolve rate ↑ | 0.533,统计打平 | 0.539(Miles) |
| 推理收入 $/GPU 时 ↑ | 11.52 | 8.18(SGLang) |
| Harness 分数 ↑ | 0.468 | 0.438(Claude Code) |
| 集群分数 ↑ | 0.510 | 0.460(Dynamo) |
Opus 5.5 + Claude Code 指数 1.252,六项全部追平或超过,总 API 花费 425.41 美元。GPT-6.1 Sol + Codex 是 0.969,其余十个平均 0.58;闭源平均 1.01,开源 0.50。最便宜的 DeepSeek V4.1 Flash + Codex 花 4.36 美元拿到 0.698,站上成本-指数 Pareto 前沿。推理任务最残酷,11 个引擎 6 个零分;Codex 配置的三家开源模型贡献了 10 次失败或被拒提交中的 7 次。
机制层面的数更有信息量:预训练拉开差距的是实投算力不是架构,编译或融合 kernel 的提交每卡跑到 795–950 TFLOP/s,eager 只有 307–513;Opus 5.5 用基线约一半的 FLOPs,换 Muon 优化器、学习率压到零。中训练那段固定 RL 主要教答案格式,Opus 5.5 的净增益是 PRISM 的 2.8 倍,97% token 投在 chain-of-thought 数据上。推理任务它把 p90 首 token 延迟从 12.0 秒压到 0.48 秒。两个消融:推理力度开到 medium 就拿到 96% 收入、只花 65% 费用;强制 subagent 让 Opus 5.5 收入从 7.31 升到 10.32,却把 GPT-6.1 Sol 从 9.70 砍到 2.09,怎么分工比用不用 subagent 重要。
六个基线没有稻草人:OLMo 2、SGLang、Claude Code、Dynamo 都是大团队维护的生产系统。一个 agent 在 12 小时内从 nanoGPT 起步把 OLMo 2 配方比下去,「AI 开发能自动化到哪」的答案被改写。从业者能直接引用三点:harness 选择能让同一个模型差出 0.657 对 0.228(GLM 5.3 配 Claude Code 与 Codex),选错 harness 等于白买模型;推理引擎这类系统工作已有 agent 做到超过 SGLang,对应工程岗位的工作内容会变;Breakwater 拦下全部测试攻击,做长时程评测的团队可以直接抄这套防线。边界也要讲清:这是能力测量,每个任务每个 agent 只跑一轮,不是产品结论。
作者承认两条:任务规模受资源限制,远小于真正的 RSI,只能当技能 proxy;最好的原始分仍很低,离饱和很远。摘要那句「may have the skills needed to reach the singularity」超出数据支撑,1.25 说的是六个 12 小时任务上超过人类参考实现,离「能递归自我改进」隔着规模和泛化两道墙,结论部分自己也退回到 proxy 的措辞。基线被适配过,Miles 从 8×H200 改到 4×GB300、禁用了辅助损失,适配后是否仍是各自最强形态没有完全回答。后训练无任何 agent 超过基线;harness 任务的领先只来自一次额外 bug fix,单次二元结果撑不起排名。每个任务单次运行、没有方差信息,0.533 对 0.539 这种差距只能靠符号检验撑着。