Claude Opus 5 登顶 ProgramBench 编码基准
Claude Opus 5 在 ProgramBench 基准测试中表现出色,以解决 9 个任务(4.5%)的成绩登顶,完全通过(100% 测试通过率)的任务数量从以往的 2 个翻倍至 4 个。实测证实,Opus 5 不仅能完美重建 9 个开源项目,代码还极具原创性;在无网络环境下,它甚至能通过主动查询工具自主推导字符映射表。尽管能力显著提升,但其单次复杂任务花费高达 50.53 美元,历经 257 轮交互并输出超 35.7 万 token。
已确认
- 在要求从零重建 sqlite、ffmpeg 等完整程序的 ProgramBench 评测中,Claude Opus 5 (xhigh) 以解决 9 个任务(4.5%)的成绩成为第一名,完全通过数量翻倍至 4 个。
- 开发者实测发现,Opus 5 完美重建了 9 个开源项目,经 diff 对比证实其代码并非简单照搬,而是提出了新颖的解决方案。
- 在无网环境下测试 rnr 工具时,Opus 5 主动向工具发送查询,自行推导出字符映射表,展现了自主推理与探索能力。
- 单次复杂任务成本高达 50.53 美元,期间经历 257 轮对话交互,输出超 35.7 万个 token,消耗远超同系列以往模型。
- ProgramBench 基准测试由 Meta 超级智能实验室、斯坦福和哈佛联合推出,已放出完整排行榜、单任务成本及运行轨迹数据。
为什么重要
- 这一结果证明了 AI 在复杂、原创性软件工程任务上的能力边界正在大幅拓宽,不仅能解决表层问题,还能进行底层逻辑的自主构建。
- 单次任务超 50 美元的成本表明,这种极致的编码能力在现阶段商业化普及仍面临高昂的经济门槛。
2026-08-13 ~ 2026-08-14 · 7 条相关
一手来源
- Claude Opus 5 登顶 ProgramBench,大幅超越 GPT-5.6 — jyangballin ·
- 实测 Claude Opus 5:完美重建 9 个开源项目,代码极具原创性 — jyangballin ·
- 无网环境下手敲百万字符:Claude Opus 5 展现惊人自主探索能力 — jyangballin ·
- 【源头】Claude Opus 5 登顶 ProgramBench,大幅超越 GPT-5.6 — jyangballin · 2026-08-13
- Claude Opus 5 登顶 ProgramBench,完全通过测试数翻倍 — jyangballin · 2026-08-13
- 【源头】实测 Claude Opus 5:完美重建 9 个开源项目,代码极具原创性 — jyangballin · 2026-08-13
- 【源头】无网环境下手敲百万字符:Claude Opus 5 展现惊人自主探索能力 — jyangballin · 2026-08-13
- Claude Opus 5 编码成本创新高:单次任务花费超 50 美元 — jyangballin · 2026-08-13
- ProgramBench评测:Claude 3 Opus单次任务成本高达 50 美元 — jyangballin · 2026-08-13
另有 1 条近重复转述:jyangballin