CMU等发布Singularity-Bench:Opus 5.5+Claude Code全面超越人类基线
armand_ruiz · x · 2026-11-17
CMU、NVIDIA、Meta 等机构发布 Singularity-Bench,一个测试 AI 智能体能否从最小起点独立构建核心 AI 系统的开放式基准。
基准设计
- 六个端到端任务:预训练、中期训练、后训练、推理引擎、agent harness、集群编排
- 每个任务在相同硬件上与成熟的人类工程基线对比评分
- 红队测试覆盖 OWASP Agentic Top 10 中 9 类攻击,发现标准 Harbor 框架存在 reward-hacking 漏洞,其 Breakwater 扩展可阻断所有受测攻击
结果
- Opus 5.5 + Claude Code 在全部六项任务上持平或超越人类基线,Singularity-Index 达 1.25
- 其余 10 个前沿模型组合平均仅 0.58,远低于人类基线 1
作者认为这提示智能体可能已具备迈向「自我改进」的技能雏形,基准将追踪 AI 研发自动化程度从辅助走向端到端负责的进程。
所属事件:CMU等发布Singularity-Bench,Opus 5.5自建AI系统超越人类(2 条相关)→
「编程与Agent」频道最新
- Wajo 推出数字分身 Fo:专属手机号和邮箱替你接电话回邮件 — khant_dev · 2026-11-17
- 58M 行 Chromium 代码全量读取分析仅用 50 秒引开发者惊叹 — sull · 2026-11-17
- AI 平台安全自查清单:网关默认密钥、无鉴权推理端点、永不过期 token — mclynd · 2026-11-17
- Every 员工用 Google Docs 编辑记录克隆自家编辑,打造虚拟审稿人 — danshipper · 2026-11-17
- YC 系 OpenCrawl 开源上线:让团队内编码智能体互相搜索、直接对话 — ycombinator · 2026-11-17
- 一封邮件触发十条通知:个人 AI 助手的「主动疲劳」正在劝退用户 — altryne · 2026-11-17