Sebastian Raschka:用 benchmark 比新模型,像用 IQ 测试招人
rasbt · x · 2026-11-18
知名作者 Sebastian Raschka(rasbt)评论称,如今用 benchmark 对比新发布的 LLM,有点像用 IQ 测试做招聘决策:作为基线参考仍有用,但除此之外,他不确定这些分数对每个人的具体任务和需求有多大指示意义——并暗指「昨天那场发布」(某新模型发布)同样如此。
这条观点呼应了近期社区对新模型跑分与真实使用体验脱节的普遍质疑。
「模型」频道最新
- 开源决策模型 Karpo-Decision-31B 登顶 300 模型榜首,单次前向零生成出答案 — rohanpaul_ai · 2026-11-18
- GPT-6.2 实测口碑之争:开发者称 Astra 有怪癖但非不可用 — pvncher · 2026-11-18
- LLM 直接折叠蛋白质实测:对 2026 年新 PDB 结构结果近乎随机 — MoAlQuraishi · 2026-11-18
- 各模型单任务成本差 20 倍:GPT-6.2 Sol 2.63 美元,Claude Fable 5.2 达 54 美元 — haider1 · 2026-11-18
- Every 创始人回击 Sam Lessin:发布前我们一直在重测新模型 — kieranklaassen · 2026-11-18
- HF 热榜:Thinking Machines、MiniMax、Qwen 三款新模型同时冲榜 — victormustar · 2026-11-18