Gabriel:专家领域模型好坏难测,基准测试存局限

Gabriel 发文批评现有基准测试,认为人们真正关心的是模型能否在世界级专家所精通的主题上精准推断出期望内容,而 eval 与 pair ranking 等方法难以测量这一点。他补充说数学等可验证领域是例外,评测在那里仍然可行,但商业决策与审美判断的质量难以验证,因此这些领域依然处于「无法测量」的范畴。

2026-11-19 ~ 2026-11-19 · 2 条相关