Nathan Lambert:开源模型被高估的榜单与评测行业的困境
natolambert · x · 2026-10-28
Nathan Lambert 发文评论 Artificial Analysis v5 榜单:开源模型「衰亡」的说法被夸大了,但此前的 AA 指数确实美化了开源模型的表现。他的核心观点是:让分数上涨已有清晰打法且成本高昂,而如何在真正的 AI 前沿创建有意义的 benchmark 却缺乏方法论;行业需要更细分的智能指标,因为 LLM 在差异极大的任务中被使用。这是一篇对评测行业的 meta-review。
所属事件:Nathan Lambert 长文剖析评测困境:私榜与开源模型真实差距(4 条相关)→
「模型」频道最新
- Tara 与 Mila 推出 CATCH：约 200 例对抗训练让 LLM 学会诚实 — Mila_Quebec · 2026-10-28
- 谷歌开源 EmbeddingGemma 2:744M 多模态嵌入模型胜过 12 倍大模型 — dair_ai · 2026-10-28
- 用户吐槽 6.1 Terra 太「懒」:每 5 分钟汇报一次,拒绝一口气干完 — Captain-Overboard · 2026-10-28
- 经济学家批OpenAI定价：非线性计费逼用户开多号，违反基本原理 — joshgans · 2026-10-28
- ShadowBench:19 个 VLM 判断影子物理一致性几乎全靠猜 — HirokatuKataoka · 2026-10-28
- 网友整理 Awesome GPT-6.1 Terra 清单：项目、提示词与社区评测 — Awacer · 2026-10-28