CMU 新基准:Opus 5.5 建智能体管线得分 1.25,远超人类基线
rohanpaul_ai · x · 2026-11-14
卡内基梅隆大学的 Singularity-Bench 论文让智能体完成 6 项端到端任务——从预训练模型到构建推理引擎和集群编排器,并与 SGLang、NVIDIA Dynamo 等生产级系统在同一 GPU 上对比打分。
关键结果:
- Opus 5.5 + Claude Code 的 Singularity-Index 达 1.25(1 为人类基线),且在全部 6 项任务上持平或超越人类基线
- 其余 10 个智能体平均仅 0.58
- Opus 5.5 构建的推理引擎每 GPU 小时产出 11.52 美元,高于 SGLang 的 8.18 美元
- 论文还通过覆盖 OWASP Top 10 中 9 类的红队测试发现奖励劫持漏洞,并推出拦截方案 Breakwater
所属事件:CMU 发布 Singularity-Bench 全栈智能体基准(2 条相关)→
「编程与Agent」频道最新
- 开发者坦言：与 AI 协作做高层级工作「很爽但很累」 — jonathan_wilke · 2026-11-14
- 开源 bastyn 静态扫描 MCP 与编码 agent 配置安全隐患 — claudio-rootedlogic · 2026-11-14
- 开发者感叹:改 CSS 五分钟就放弃,以后只需要告诉 Agent 想要什么 — robleclerc · 2026-11-14
- 开源 Devin 替代品 OpenComputer 发布:自托管、速度快 3.3 倍,可复用 Claude/ChatGPT 订阅 — zeeg · 2026-11-14
- 构建 400+ Agent 后总结：AI Agent 记忆的 15 个基础模块 — MaryamMiradi · 2026-11-14
- 斯坦福免费公开 CS329Z 智能体工程课,13 讲课件全放出 — stanfordnlp · 2026-11-14