Hamel Husain 调侃「评测工业复合体」：刷分则评测死，不刷则评测废
HamelHusain · x · 2026-11-11
Hamel Husain 借 Anthropic 模型在 Harvey 法律基准上低于其他模型的讨论，总结出「评测工业复合体（Evals-Industrial complex）」的两难悖论：
- 如果你说服不了大家在你的 benchmark 上刷分，它就会被认为「一文不值」；
- 但一旦大家真的都在上面刷分，它统计意义上也就失去了价值。
这条评论点破了当前模型评测生态的结构性问题：benchmark 的传播价值与诊断价值互相冲突。
「模型」频道最新
- Lenny 观察：设计师圈最常被点名的是 Claude 而非 ChatGPT — lennysan · 2026-11-11
- 「LLM 天生不连续」是误解：token 只是连续过程的采样读数 — Sauers_ · 2026-11-11
- 用 Claude 搭几十个游戏后：套路比人类少，RL 过于「有主见」 — teortaxesTex · 2026-11-11
- Liquid AI 语音模型上手机：三星手机完全本地语音对话 — alexcovo_eth · 2026-11-11
- 物流小模型 Cartage-1 胜过全部前沿模型，成本仅 1/20 — shakoistsLog · 2026-11-11
- OpenAI 开源 mcp-extensions:让插件成为 ChatGPT 原生功能 — SIGKITTEN · 2026-11-11