评测专家 Hamel Husain：企业选模型应靠私有评测而非第三方跑分
11 月 9 日，知名评测专家 Hamel Husain 在「评测军工复合体」相关讨论中提出核心主张：业界过度依赖第三方基准来决定选用哪个模型，正确做法是针对自己的产品和具体任务做更多私有评测，并以自建评测作为主要决策依据。
已确认
- Hamel Husain 认为公开基准过于通用，对大实验室和研究更有价值，对普通用户只是提示性的；正确分工是公开基准只用于评测漏斗顶端——判断「要不要考虑这个新模型」，后续筛选交给私有评测。
- xeophon 提出内部评测的隔离原则：负责训练的人不应能访问内部 benchmark，甚至不应知道里面有什么，训练方只拿到一个 endpoint 和分数。
- Megan Risdal 补充：为防内部 benchmark 被过拟合，爬山评测装置的核心设计是持续、不断演化的全新任务流，不是固定题库，对 Goodhart 定律的解读也要随之调整。
- xeophon 和 llmwizard 指出，Artificial Analysis Intelligence Index 等基准合集频繁轮换其中的 benchmark，很大原因就是分数被针对性过拟合（Goodharting）；llmwizard 进一步认为这些榜单已沦为实验室的营销工具。
- mertgulsun 回应 Hamel Husain 称两者是互补关系：开发者应为自身需求维护自有 evals，同时也需要第三方评测。
为什么重要
- 该讨论触及当前 AI 行业选型与评测的方法论分歧：公开跑分易被针对性优化甚至操纵，而企业实际任务表现与通用基准相关性有限。
- 内部评测的隔离设计与持续换题机制，为防止评测被「爬山」污染提供了可操作的工程实践参考。
2026-11-09 ~ 2026-11-09 · 7 条相关
一手来源
- Hamel Husain：企业选模型该靠自己的私有评测，而非第三方跑分 — HamelHusain ·
- 公开基准只该做初筛：Hamel Husain 谈企业评测的正确漏斗 — HamelHusain ·
- Megan Risdal:内部 eval 的爬山装置核心是持续供应全新任务流 — MeganRisdal ·
- 【源头】Hamel Husain：企业选模型该靠自己的私有评测，而非第三方跑分 — HamelHusain · 2026-11-09
- 自建 eval 还是第三方评测？Hamel Husain 引发评测路线之争 — mert_gulsun · 2026-11-09
- 【源头】公开基准只该做初筛：Hamel Husain 谈企业评测的正确漏斗 — HamelHusain · 2026-11-09
- llm_wizard：基准榜单因 Goodharting 频繁轮换，已沦为实验室营销工具 — llm_wizard · 2026-11-09
- AI 指数榜单频繁换题,主因就是被 Goodhart 玩坏 — xeophon · 2026-11-09
- 【源头】Megan Risdal:内部 eval 的爬山装置核心是持续供应全新任务流 — MeganRisdal · 2026-11-09
- Xeophon:训练团队不该看到内部 benchmark,只该拿回一个分数 — xeophon · 2026-11-09