Gabriel:专家领域模型好坏难测,基准测试存局限
Gabriel 发文批评现有基准测试,认为人们真正关心的是模型能否在世界级专家所精通的主题上精准推断出期望内容,而 eval 与 pair ranking 等方法难以测量这一点。他补充说数学等可验证领域是例外,评测在那里仍然可行,但商业决策与审美判断的质量难以验证,因此这些领域依然处于「无法测量」的范畴。
2026-11-19 ~ 2026-11-19 · 2 条相关
- Gabriel 提出尖锐观点:在你最懂的领域,模型好坏根本无法测量 — gabriel1 · 2026-11-19
- Gabriel 补充:数学可验证例外,商业与审美依然难测 — gabriel1 · 2026-11-19