新基准 ProgramBench 测模型从零重建 ffmpeg,最高解决率仅 18.5%
jyangballin · x · 2026-10-24
jyangballin 评论新基准 ./ProgramBench:测试语言模型能否从零重建完整程序,含 200 个任务、24.8 万+ 测试用例。当前榜首 Claude Opus 5.5 (xhigh) 解决率 18.5%、"接近解决" 70.5%,单次成本 $37.30;后续为 Claude Fable 5.1(9.0%)、Meta Muse Wonder Full(8.5%)、GPT 6 Astra(5.0%)等。
作者判断:饱和这个基准所需的时间,会远短于当初花 3 年才饱和 GitHub issue 解决类基准(SWE-bench 系)——「我们活在一个疯狂的时代」。
所属事件:新基准 ProgramBench 测模型重建完整程序 榜首仅 18.5%(2 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 发布:Terminal-Bench 4.0 超 Claude Opus 5.5,成本仅 1/3 — Yuchenj_UW · 2026-10-24
- Reddit 用户实测 Kimi K3：智能巅峰但日常更爱 Qwen — SrijSriv211 · 2026-10-24
- natolambert：Kimi K3.1 Pro 显示月之暗面补强了 RL 后训练短板 — natolambert · 2026-10-24
- Artificial Analysis 详解 Cyber Index：三项真实代码库漏洞修复评测 — ArtificialAnlys · 2026-10-24
- DeepSeek V4.1 Flash 1017 单任务成本 $0.42，比 GPT-6 Sol 便宜 4 倍 — ArtificialAnlys · 2026-10-24
- DeepSeek V4.1 Flash 1017 网安评测发布：每任务 0.42 美元 — ArtificialAnlys · 2026-10-24