新基准 ProgramBench 测模型重建完整程序 榜首仅 18.5%
新基准 ProgramBench 测试语言模型能否从零重建 ffmpeg 等完整程序，包含 200 个任务和超过 24.8 万个测试用例。当前榜首为 Claude Opus，但最高解决率仅 18.5%。作者还展示了各模型的数据、推理轨迹与生成的代码库，并判断该基准被饱和所需的时间将远短于当年的 GitHub issue 解决类基准。
2026-10-24 ~ 2026-10-24 · 2 条相关
- 新基准 ProgramBench 测模型从零重建 ffmpeg,最高解决率仅 18.5% — jyangballin · 2026-10-24
- 重建 ffmpeg 基准将饱和:耗时仅 GitHub issue 的零头 — jyangballin · 2026-10-24