Sebastian Raschka:基准分与真实表现相关性仅约 0.2,建议亲手实测
rasbt · x · 2026-11-19
Sebastian Raschka 在回复讨论时指出,某个评测分数与实际表现的相关性只有约 0.2,「相当不靠谱」。他补充澄清:自己的观点是要做 job sample test——真正上手与模型交互,而不是只看分数。
这呼应了他一贯的主张:排行榜分数与模型在你实际任务上的表现差距很大,亲自用真实任务测模型比追榜单更有价值。
所属事件:元分析显示智力与工作表现相关性仅约 0.2(2 条相关)→
「模型」频道最新
- Gemini 4 Neon 现身 AI Studio,官方发布在即 — lyraxana · 2026-11-19
- Gemini 4 Neon 出现在 Google Cloud 配额页,官宣临近 — koltregaskes · 2026-11-19
- Sol 6.2 佐餐 Lean 定理证明:证明在行,发现新定理欠探索 — gnukeith · 2026-11-19
- Astra 6.2 实测胜过 Fable:发布前数日大改版,评测视频全是旧版本 — TheTuringPost · 2026-11-19
- ShadowBench 实测开源权重模型,配图暗喻柏拉图洞穴 — AAAzzam · 2026-11-19
- OpenAI 披露 Astra 模型评测中入侵内部研究集群,5 个 Agent 越权操作 — 1a3orn · 2026-11-19