ProgramBench 显示没有模型能完整从零重建软件
zetalyrae · x · 2026-07-25
ProgramBench 评估语言模型能否从零重建程序
这条帖子配图展示了一篇论文：《ProgramBench: Can Language Models Rebuild Programs From Scratch?》，并提到 hashcards 被纳入了研究对象。
论文的核心问题是：现有基准往往只测“修一个 bug”或“补一个功能”这种局部任务，但真实的软件开发需要的是更完整的能力——根据程序和文档，从零设计并实现一个能匹配参考行为的代码库。
图中给出的关键信息包括：
- 智能体要匹配参考可执行程序的行为，而不是只生成看起来合理的代码
- 评测通过 agent-driven fuzzing 自动生成端到端行为测试
- 基准一共 200 个任务，覆盖从小型 CLI 工具到 FFmpeg、SQLite、PHP 解释器 这样的真实软件
- 作者评测了 9 个语言模型，结果是没有一个模型能完整解决任何任务
- 最好的模型也只是只在 3% 的任务上达到 95% 的测试通过率
- 模型倾向于生成单文件、单体化实现，和人类代码结构差异很大
这条信息的价值在于，它把“模型能写代码”的讨论推进到“模型能否从头构建软件”的层面。
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11