ProgramBench 显示没有模型能完整从零重建软件
zetalyrae · x · 2026-07-25
ProgramBench 评估语言模型能否从零重建程序
这条帖子配图展示了一篇论文：《ProgramBench: Can Language Models Rebuild Programs From Scratch?》，并提到 hashcards 被纳入了研究对象。
论文的核心问题是：现有基准往往只测“修一个 bug”或“补一个功能”这种局部任务，但真实的软件开发需要的是更完整的能力——根据程序和文档，从零设计并实现一个能匹配参考行为的代码库。
图中给出的关键信息包括：
- 智能体要匹配参考可执行程序的行为，而不是只生成看起来合理的代码
- 评测通过 agent-driven fuzzing 自动生成端到端行为测试
- 基准一共 200 个任务，覆盖从小型 CLI 工具到 FFmpeg、SQLite、PHP 解释器 这样的真实软件
- 作者评测了 9 个语言模型，结果是没有一个模型能完整解决任何任务
- 最好的模型也只是只在 3% 的任务上达到 95% 的测试通过率
- 模型倾向于生成单文件、单体化实现，和人类代码结构差异很大
这条信息的价值在于，它把“模型能写代码”的讨论推进到“模型能否从头构建软件”的层面。
「编程与Agent」频道最新
- 逆向二进制发现 Claude Code 悄然上线「固定记忆」 — imjustnewatai · 2026-07-25
- 开发者分享 Pi 扩展实践：整合多模型与后台终端 — HankYeomans · 2026-07-25
- Amp 里可用插件和启动参数切到 Claude Opus 5 — HankYeomans · 2026-07-25
- 智能体先行电商开始落地到自动补货场景 — saranormous · 2026-07-25
- MIT 数据称 95% 的 GenAI 试点无财务影响 — mclynd · 2026-07-25
- Claude Opus 5 把终端版 Minecraft TUI 改成了多人游戏 — vikvang1 · 2026-07-25