公开榜单不可信：微软倡导者提醒开发者务必自建私有评测
HamelHusain · x · 2026-11-05
- 微软首席开发者布道师 Waldek Mastykarz 发文指出：模型在 SWE-bench 等公开榜单上得 92%，换成你自己的代码库可能毫无提升甚至更差，原因是 Goodhart 定律——指标一旦成为目标就失效，且部分模型可能已经记住了测试答案。
- 这是其 Agent Experience（AX）系列的第六篇，讨论如何在为自有技术栈扩展 agent 能力之前，正确评估哪个模型真正适合你的环境。
- Hamel Husain 转发并强调两点：许多公开 benchmark 存在实质性缺陷；一些模型已经背下了答案，结论是"做你自己的私有评测"。
「编程与Agent」频道最新
- 生产环境 Agent 的第一套评测集：用失败工单还是真实对话抽样？ — rahulladumor · 2026-11-05
- 边看 AI 短剧边编程:开发者晒与 Claude 讨论任务系统的截图 — lxfater · 2026-11-05
- 死站交给 Claude Code 三周跑 24 个实验,流量暴涨 100 倍 — doooyle · 2026-11-05
- 改一个没人调的设置，RAG 准确率从 100% 掉到 33% — dima806_dima · 2026-11-05
- ClankerCloud 曝光新 Agent 构建 UX:简单版与工作流版双轨难调 — tekbog · 2026-11-05
- 用户实测：管理好上下文后 Codex 额度几乎用不完 — haider1 · 2026-11-05