编码基准只测做没做、不测做得好不好,SlopCodeBench 补空白

kuza55 · x · 2026-11-23

在关于编码 agent 的讨论中,kuza55 指出现有编码基准只评估任务是否按要求完成,而不评估完成质量;目前只有 SlopCodeBench 尝试衡量这一点,且所有模型在该基准上表现都很差。被引用的推文补充了实际体验:即使任务定义清晰,让模型跑半小时,审计后仍常发现设计糟糕、违背部分规格(过度构建冗余功能),以及代码里有相当显著的 bug。

所属事件:编码基准不测代码质量,SlopCodeBench补空白(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →