ProgramBench：让智能体从二进制逆向重建 FFmpeg 级软件
nouhadziri · x · 2026-10-14
作者介绍评测基准 ProgramBench：agent 只拿到程序二进制和文档，没有源码，需要运行二进制、推断其行为，然后从零重建 jq、SQLite、FFmpeg 等真实软件。
任务非常难——在 FFmpeg 上，排行榜最强的 agent 也只能通过约 10% 的测试。这解释了为何该基准能区分团队的探索与规划能力。
所属事件:智能体团队扩展研究：分工位置比数量更关键(14 条相关)→
「编程与Agent」频道最新
- 让 Claude Engineer 接管整台 Mac:一句话即可跑通 REA 项目测试 — Rasmic · 2026-10-15
- 用户抱怨 Claude Code 429 限流激增且速度持续变差,呼吁再停售订阅 — kristoph · 2026-10-15
- Claude Code 官方 advisor 工具:Sonnet 干活、Opus 只审关键决策 — msharmas · 2026-10-15
- 开发者给 Claude Code 配会说话的「小 buddy」,半秒内开口念答案 — OdinLovis · 2026-10-15
- 创始人给 Slack 里 AI 员工派 6 份工,破解 90% 公司战略执行难题 — SucceededMind · 2026-10-15
- DuoDiscover 让 agent 自研评估器,TPU 内核提速 2.68 倍 — CShorten30 · 2026-10-15