编码基准只测做没做、不测做得好不好,SlopCodeBench 补空白
kuza55 · x · 2026-11-23
在关于编码 agent 的讨论中,kuza55 指出现有编码基准只评估任务是否按要求完成,而不评估完成质量;目前只有 SlopCodeBench 尝试衡量这一点,且所有模型在该基准上表现都很差。被引用的推文补充了实际体验:即使任务定义清晰,让模型跑半小时,审计后仍常发现设计糟糕、违背部分规格(过度构建冗余功能),以及代码里有相当显著的 bug。
所属事件:编码基准不测代码质量,SlopCodeBench补空白(2 条相关)→
「编程与Agent」频道最新
- 网友用 AI 拍库存照生成零件清单并迭代 3D 打印模型 — burhop · 2026-11-23
- 从随机权重训练小 Transformer 配专用框架也能出强棋类 agent — andreisavu · 2026-11-23
- 嫌弃 agent 的「harness」一词像马具,网友回答:Unitard — bratton · 2026-11-23
- 观点:编码基准只测「做完没」,不测「做得好不好」 — kuza55 · 2026-11-23
- 亚马逊密谋「世界商品图谱」:夺数据权防 AI 购物 agent — AccBalanced · 2026-11-23
- AI 装机 30 天签下单笔 4.15 万美元大单:房产尽调自动化案例 — aryanXmahajan · 2026-11-23