Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5%
winer666 · reddit · 2026-10-28
据 Jack Clark 的 Import AI 周报(10 月 26 日),Claude Opus 5.5 (xhigh) 在 ProgramBench 的 200 项从零重建任务上取得 18.5%——即仅凭编译后的二进制文件和文档,重写 SQLite、FFmpeg、ripgrep 这类真实程序。而 5 月该 benchmark 发布时所有模型均为 0%。Clark 预测(个人预测而非实测依据)该基准将在 2027 年底前被刷满。
作者提出两个值得讨论的问题:
- 「从二进制 + 文档重建」究竟主要考验逆向工程与长程坚持能力,还是真正的软件工程能力?
- 如果这个基准一年内就饱和,什么才能成为有意义的编程能力测试?
「编程与Agent」频道最新
- 多 Agent 管理实战：任务按小时粒度切分，验收只认端到端证据 — dotey · 2026-10-28
- 用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器 — JnBrymn · 2026-10-28
- Codex 团队日更系列第 23 天：跳过 iCloud 插件，进行一次重置 — dotey · 2026-10-28
- Cloudflare Access 支持 HTML+Liquid 自定义登录与拒绝页 — dinasaur_404 · 2026-10-28
- 查内存泄漏时 Opus 重试同一会话 2060 万次，开发者晒翻车现场 — johnlindquist · 2026-10-28
- 开源视频设计 Skill：让 AI Agent 按方法论做视频 — songguoxiansen · 2026-10-28