AI 指数榜单频繁换题,主因就是被 Goodhart 玩坏
xeophon · x · 2026-11-09
xeophon 回复 llmwizard 指出:像 Artificial Analysis Intelligence Index 这类大家紧盯的基准合集,经常轮换其中的 benchmark,很大原因就是分数被针对性地过拟合(Goodharting)——圈里人都心知肚明,只是外人不了解。这解释了为什么榜单分数与真实能力会脱节。
所属事件:评测专家 Hamel Husain：企业选模型应靠私有评测而非第三方跑分(7 条相关)→
「模型」频道最新
- ValsAI 曝多家前沿实验室模型存在高危安全对齐漏洞 — koltregaskes · 2026-11-09
- 特斯拉 Optimus 工程师做桌面机器人 GROXIE,用 Grok 当大脑 — Scobleizer · 2026-11-09
- Mistral Large 4 发布：1.05 万亿参数 MoE，西方最强开源权重但仅居中游 — maier_ak · 2026-11-09
- 日志数据：ChatGPT-User 爬取骤降 81%，转向自建索引 — gaganghotra_ · 2026-11-09
- 博主实测:与 LLM 聊细胞治疗时智能出现「离谱退化」 — owl_posting · 2026-11-09
- Simon Willison 实测：Claude Opus 5.5 脱离 Three.js 也能写 WebGL 3D — Simon Willison · 2026-11-09