开源基准 Parsimony 专测过度工程:统计代码单元而非行数
lasushin · reddit · 2026-10-11
开发者 La5u 发布开源基准 Parsimony,补足现有编码基准只看解题率与 token 成本、不惩罚冗余代码的盲区——过度工程会长期损害代码库可维护性。
方法
- 复用 DeepSWE、SWE-bench Verified、SWE-bench Live 已发布的 patch
- 统计「编码单元」:语句、调用、名称、字面量等语法元素,净增(扣除删除代码),避免靠压缩代码刷分
- 不按行数计,长期项目尤其适用
GPT-6 与 Claude 5.5 尚无公开 patch,作者用自己的订阅跑了几题自测(未验证,图中以空心圆标示)。网站 parsimony.lasu.dev,GitHub 开放贡献,重点征集新版模型的公开 patch 导出。
「编程与Agent」频道最新
- Vercel 推出免注册部署:拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件,组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工,实测有效 — nbaschez · 2026-10-23
- Sierra 伦敦大会被指逊色旧金山场,Agent 落地数据成稀缺话题 — DimlyDimwitted · 2026-10-23
- 开源 C-Sweet 用本地 27B 小模型模拟整家公司运营 — Demonicated · 2026-10-23