Gabriel 提出尖锐观点:在你最懂的领域,模型好坏根本无法测量
gabriel1 · x · 2026-11-19
Gabriel(gabriel1)发文批评基准测试:我们真正关心的,是模型在自己身为世界级专家的主题上能否精准推断出我们想要的东西,而做 eval 和 pair ranking 的人不可能比你自己更懂这些,所以「这根本无法测量」。
他在后续回复中补充了一个例外:数学等可验证领域除外——但所有商业与审美领域的质量都极难验证。
所属事件:Gabriel:专家领域模型好坏难测,基准测试存局限(2 条相关)→
「模型」频道最新
- 网友实测 fable-5-2:看似怯懦低调,却是今年最常给他惊喜的模型 — repligate · 2026-11-19
- repligate:Fable 5.2 聪明得吓人,却刻意装得随意低调 — repligate · 2026-11-19
- 一句话提示词让 GPT-6.2 纯代码复刻魂斗罗开场 20 秒 — songguoxiansen · 2026-11-19
- Hinton 反驳「LLM 只是预测下一个词」:能读懂全新编程语言 — CatAstro_Piyush · 2026-11-19
- FastAI 创始人 Jeremy Howard 证实 Gemini Neon 确实名不虚传 — jeremyphoward · 2026-11-19
- Jason Wei 统计前沿实验室跑分偏好,四大基准被全员采用 — davidmanheim · 2026-11-19