ProgramBench 显示没有模型能完整从零重建软件
zetalyrae · x · 2026-07-25
ProgramBench 评估语言模型能否从零重建程序
这条帖子配图展示了一篇论文：《ProgramBench: Can Language Models Rebuild Programs From Scratch?》，并提到 hashcards 被纳入了研究对象。
论文的核心问题是：现有基准往往只测“修一个 bug”或“补一个功能”这种局部任务，但真实的软件开发需要的是更完整的能力——根据程序和文档，从零设计并实现一个能匹配参考行为的代码库。
图中给出的关键信息包括：
- 智能体要匹配参考可执行程序的行为，而不是只生成看起来合理的代码
- 评测通过 agent-driven fuzzing 自动生成端到端行为测试
- 基准一共 200 个任务，覆盖从小型 CLI 工具到 FFmpeg、SQLite、PHP 解释器 这样的真实软件
- 作者评测了 9 个语言模型，结果是没有一个模型能完整解决任何任务
- 最好的模型也只是只在 3% 的任务上达到 95% 的测试通过率
- 模型倾向于生成单文件、单体化实现，和人类代码结构差异很大
这条信息的价值在于，它把“模型能写代码”的讨论推进到“模型能否从头构建软件”的层面。
「编程与Agent」频道最新
- Firecrawl 推 a16z Speedrun 创始人专属福利,并披露 7500 万美元 B 轮 — devdigest · 2026-10-27
- 开源项目 Chums:用 Apple Watch 随身遥控 Mac 上的 Claude Code — brandon_galang · 2026-10-27
- 开发者开源 Clairic Studio:粘贴文本自动生成五语言类型化代码 — dfinke · 2026-10-27
- Matt Pocock 分享 expand/contract 拆分法:把单向门 PR 拆成两层降风险 — mattpocockuk · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- theo 公开个人 Claude skills 栈，Garry Tan 喊话「公布你的技术栈」 — ycombinator · 2026-10-26