冷门基准揭示差距：给二进制文件复刻代码库，最强模型仅得 5.5%

Informal-Trouble2183 · reddit · 2026-09-06

Reddit 帖汇总了三个比主流编码基准更「深度」的软件工程能力评测，成绩差距远超常规榜单：

Program-Bench：只给编译后的二进制和文档，要求 agent 不用反编译器、不上网，从零架构并实现复现原程序行为的完整代码库。GPT-6 Astra 仅 5.5%，Fable 5.1 为 7%，Kimi K3 2%，GLM 5.3 与 GPT 5.6 Sol 均 1.5%，Qwen3.8 27b 和 GPT 5.6 Luna 为 0%。
SRE-Bench（vals.ai）：考察无源码情况下理解真实二进制程序的能力。GPT-6 Astra 达 88%，GPT-5.6 Sol 55.9%，Claude Opus 5 (max) 仅 12.5%。
Code Migration（vals.ai）：把可运行的程序用另一种语言重写。GPT-6 Astra 67.7%，Fable 5.1 54.6%，GLM 5.3 44.2%，Qwen3.8 27b 14.2%。

作者观点：理解编译后程序（读汇编级能力）才是衡量「深度智能」的真正标尺，各家旗舰模型在此能力上分化极为明显。

「模型」频道最新