GPT 5.6 Sol Tops ProgramBench, Halving Costs but Showing Python Bias

GPT 5.6 Sol (xhigh) claimed the top spot on the ProgramBench benchmark, successfully rebuilding 2 out of 200 test programs from scratch. The model demonstrates an ability to generate novel code rather than merely memorizing it. While achieving equivalent performance, its cost is halved compared to its predecessor, though tests revealed a severe bias toward the Python programming language.

已确认

• ProgramBench 由 Meta 超级智能实验室联合斯坦福、哈佛推出，旨在评估语言模型从零构建代码库的能力。测试要求 Agent 仅根据编译后的二进制文件和文档，架构并实现能复现原程序行为的完整代码库，共计 200 道任务。
• GPT 5.6 Sol (xhigh) 取得第一名，成功完美重构了 2/200 个程序（如包含 506 个测试的 cmatrix 和 Rust hexdump viewer）。
• 作者 @jyangballin 核实称，模型确实在构建真正新颖的解决方案，并非仅是背诵源代码，生成的代码与原版在定性特征上存在显著差异。
• 在达到相同性能指标的情况下，GPT 5.6 Sol 的花费仅为 6.08 美元，而前代 5.5 为 8.85 美元，成本显著降低。
• 模型在重构代码时表现出极强的 Python 偏好。原始测试集由 54% 的 Rust、23% 的 Go、16% 的 C 和 6% 的 C++ 组成，但模型将 165 个程序都用 Python 进行了重构。

为什么重要

• ProgramBench 提供了一个评估大模型长程软件工程与底层架构能力的新标准，凸显了当前顶尖模型在复杂编程任务中的真实上限（目前仅解决 1% 的任务）。
• 成本减半且具备生成原创代码的能力，证明了模型在编程效率与逻辑推理上的实质进步。
• 严重的语言偏好问题（多语言支持失衡）暴露了当前模型在遵循特定底层语言约束时的缺陷，这对实际的复杂软件工程应用构成了挑战。

2026-08-11 ~ 2026-08-11 · 6 related posts

• [source] GPT 5.6 Sol Tops ProgramBench, Successfully Rebuilding Complex Programs — jyangballin · 2026-08-11
• [source] GPT 5.6 Sol Heavily Favors Python in Multi-Language Coding Tasks — jyangballin · 2026-08-11
• GPT 5.6 Sol Halves Coding Costs While Matching Previous Performance — jyangballin · 2026-08-11
• GPT 5.6 Sol Generates Novel Code Solutions, Not Just Memorization — jyangballin · 2026-08-11
• [source] ProgramBench: Top LLMs Struggle to Rebuild Codebases, GPT 5.6 Solves Only 1% — jyangballin · 2026-08-11
• GPT Tops ProgramBench, But Long-Horizon Coding Remains Challenging — parth007_96 · 2026-08-11