CMU 推出 Singularity-Bench：Claude Code 搭的推理引擎比肩 SGLang

rohanpaul_ai · x · 2026-11-14

卡内基梅隆大学新论文发布 Singularity-Bench，一个覆盖 agent 开发全栈的端到端基准：6 项任务横跨训练（架构与预训练、midtraining 数据配比、RL 后训练）、部署（推理引擎、集群管理）到应用（agent harness），agent 需在固定预算内设计并实现完整系统，再与人类构建的生产级系统在同一硬件上对比评分。

论文中最引人注目的发现：Opus 5.5 + Claude Code 在相同 GPU 上构建出的预训练流水线、推理引擎和集群编排器，性能持平甚至超过了 SGLang 和 NVIDIA Dynamo 等生产级工具。基准把「奇点」定义为 agent 能递归自我改进其生命周期每个阶段——从训练更好的 LLM 到更好地服务、运行 LLM。