观点:编码基准只测「做完没」,不测「做得好不好」
kuza55 · x · 2026-11-23
讨论者指出,当前编码模型确实更不容易彻底跑偏、也能处理更难的任务,但在设计层面依然很差。他认为缺口在于:几乎没有编码 benchmark 评估任务是否被「做好」,只评估是否按要求完成;唯一试图触及这一点的是 SlopCodeBench,而所有模型在该基准上表现都很差。
「编程与Agent」频道最新
- 程序员新职责:刷推特找信息成了工作的一部分 — willcb · 2026-11-23
- 疑似 Gemini Neon 智能体曝光,思考过程展示精细的 SDK 代码规划 — aquariusacquah · 2026-11-23
- 从随机权重训练小 Transformer 配专用框架也能出强棋类 agent — andreisavu · 2026-11-23
- 嫌弃 agent 的「harness」一词像马具,网友回答:Unitard — bratton · 2026-11-23
- Agent 记忆存储已不是难题,难的是决定什么值得记住 — Aide_Sea · 2026-11-23
- 编码基准只测做没做、不测做得好不好,SlopCodeBench 补空白 — kuza55 · 2026-11-23