Xeophon:训练团队不该看到内部 benchmark,只该拿回一个分数
xeophon · x · 2026-11-09
xeophon 在与 Megan Risdal、Hamel Husain、llmwizard 的讨论中提出内部评测的隔离原则:负责训练的人不应该能访问内部 benchmark,甚至不应知道里面有什么——训练方只拿到一个 endpoint,提交后返回一个分数。llmwizard 补充,内部 benchmark 同样要审慎地做爬山调优。这是防止 eval 泄露导致 Goodhart 化的实践共识。
所属事件:AI 基准榜单遭 Goodhart 定律侵蚀,内部评测隔离引热议(4 条相关)→
「编程与Agent」频道最新
- Nous Research 办 Hermes 插件黑客松:奖金2万美元,让Agent当编码团队主管 — Teknium · 2026-11-09
- Cloudflare 推出 WebMCP 开发者预览,零代码让任意网站支持浏览器 Agent — tristanbob · 2026-11-09
- Simon Willison 实测：Claude Opus 5.5 脱离 Three.js 也能写 WebGL 3D — Simon Willison · 2026-11-09
- Simon Willison 用 details/summary 折叠 AI 写的 PR 描述长文 — Simon Willison · 2026-11-09
- AI Agent 一个周末修完 41 个报告问题中的 40 个 — julianweisser · 2026-11-09
- HEELO 框架让 Terminal-Bench 解题率从 37.3% 升至 55.5% — Haibo Jin · 2026-11-09