研究者质疑 ProgramBench 榜单：最高解决率仅 4.5%，非图中 59%

srchvrs · x · 2026-10-13

@srchvrs 在 X 上公开质疑 Meta 超级智能实验室与斯坦福、哈佛联合发布的 ProgramBench 基准的宣传图：图中显示 59% 的成绩，但实际排行榜上最高解决率只有 4.5%（Claude Opus 5 (xhigh) + mini-SWE-agent），怀疑是配图或数字有误。

ProgramBench 要求 agent 仅凭编译后的二进制文件和文档，从零重建出能复现原程序行为的完整代码库，共 200 个任务。榜单显示各前沿模型完全解决率普遍不足 5%，Claude Opus 5 以 4.5% 居首，多数模型为 0%，但「接近解决」（通过 ≥95% 行为测试）的比例明显更高。