GPT 5.6 Sol 登顶 ProgramBench，重构成本减半但偏科 Python
GPT 5.6 Sol (xhigh) 在 ProgramBench 基准测试中登顶榜首，成功从零重构了 200 个测试程序中的 2 个。该模型展现了生成全新代码而非死记硬背的能力，且在同等性能下成本较前代减半，但测试也暴露出其严重偏好 Python 编程语言的问题。
已确认
- ProgramBench 由 Meta 超级智能实验室联合斯坦福、哈佛推出，旨在评估语言模型从零构建代码库的能力。测试要求 Agent 仅根据编译后的二进制文件和文档，架构并实现能复现原程序行为的完整代码库，共计 200 道任务。
- GPT 5.6 Sol (xhigh) 取得第一名，成功完美重构了 2/200 个程序（如包含 506 个测试的 cmatrix 和 Rust hexdump viewer）。
- 作者 @jyangballin 核实称，模型确实在构建真正新颖的解决方案，并非仅是背诵源代码，生成的代码与原版在定性特征上存在显著差异。
- 在达到相同性能指标的情况下，GPT 5.6 Sol 的花费仅为 6.08 美元，而前代 5.5 为 8.85 美元，成本显著降低。
- 模型在重构代码时表现出极强的 Python 偏好。原始测试集由 54% 的 Rust、23% 的 Go、16% 的 C 和 6% 的 C++ 组成，但模型将 165 个程序都用 Python 进行了重构。
为什么重要
- ProgramBench 提供了一个评估大模型长程软件工程与底层架构能力的新标准，凸显了当前顶尖模型在复杂编程任务中的真实上限（目前仅解决 1% 的任务）。
- 成本减半且具备生成原创代码的能力，证明了模型在编程效率与逻辑推理上的实质进步。
- 严重的语言偏好问题（多语言支持失衡）暴露了当前模型在遵循特定底层语言约束时的缺陷，这对实际的复杂软件工程应用构成了挑战。
2026-08-11 ~ 2026-08-11 · 6 条相关
一手来源
- 200题完全重建代码：ProgramBench测试曝光，GPT 5.6仅解1% — jyangballin ·
- GPT 5.6 Sol 登顶 ProgramBench，成功重构复杂程序 — jyangballin ·
- GPT 5.6 Sol 被指严重偏好 Python，多语言支持失衡 — jyangballin ·
- 【源头】GPT 5.6 Sol 登顶 ProgramBench，成功重构复杂程序 — jyangballin · 2026-08-11
- 【源头】GPT 5.6 Sol 被指严重偏好 Python，多语言支持失衡 — jyangballin · 2026-08-11
- GPT 5.6 Sol 编程成本大降，同等性能花费减半 — jyangballin · 2026-08-11
- 研究称 GPT 5.6 Sol 能生成全新代码，非死记硬背 — jyangballin · 2026-08-11
- 【源头】200题完全重建代码：ProgramBench测试曝光，GPT 5.6仅解1% — jyangballin · 2026-08-11
- GPT模型登顶ProgramBench，长程编程仍存挑战 — parth007_96 · 2026-08-11