开源新基准 Parsimony:量化 AI 编码模型往代码库里塞了多少多余代码
lasu · hn · 2026-10-14
作者发布开源基准 Parsimony,专门测量 AI 编码模型新增代码量的问题。
- 动机:现有基准只看解决率和 token 输出/成本,不惩罚冗余代码,而多余代码会长期拖累代码库可维护性。
- 方法:复用 DeepSWE、SWE-bench Verified、SWE-bench Live 已发布的补丁,统计「编码单元」(语句、调用、名称、字面量等语法元素),不用行数以避免刷行数;删除的代码做扣减,计算净增量。
- 补充:GPT-6 与 Claude 5.5 因无公开补丁,作者在自己的订阅上跑了 3–10 个任务作参考(不参与排名)。
项目已开源,作者征集反馈与更新模型的公开补丁导出。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser:让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案,AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令,作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测:不在 AGENTS.md 里写明的 MCP 工具,编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集,星标 1.65 万 — Arindam_1729 · 2026-10-23