Nathan Lambert 长文剖析评测行业困境：私榜透明度换反刷榜值不值
natolambert · x · 2026-10-28
Nathan Lambert 在 Interconnects 发布文章《Artificial Analysis v5 and the benchmarker's dilemma》，复盘独立评测行业的现状与缺失。
- 核心论点：「爬山容易，难的是知道该爬哪座山」——让分数上涨已有清晰打法，但创造真正前沿的有意义 benchmark 远比刷分难，独立评测的难度被低估。
- 私榜争议：各家转向 prompts 不公开的 private benchmarks 以防开源实验室针对评测刷分（benchmaxxing）。他认为方向上可辩护——知道评测形状确实更容易造数据过评，但隐藏数据也非不可能过评；代价是你要完全信任私榜构建者，失去社区帮 benchmark 找 bug、推动其自我改进的机制。
- 立场：涉及利益足够大时，他更倾向评测透明、让更多双眼睛找问题；对私密 vs 开源评测整体持 50/50 态度。
所属事件:Nathan Lambert 长文剖析评测困境:私榜与开源模型真实差距(4 条相关)→
「模型」频道最新
- 订阅补贴下的模型性价比图：DeepSeek V4.1 Flash 以免费杀入前沿 — teortaxesTex · 2026-10-28
- 2 万条实测数据：前沿模型卡在哪，Agent Arena 投诉率揭示三大差距 — arena · 2026-10-28
- Nace 发布决策模型 Drex Max 1.1:Decision Index 升至 70.8 — omarsar0 · 2026-10-28
- Nemotron-3.5-Transcribe 接入 vLLM：原生语音塔+FP8/NVFP4 推理 — aakashgupta · 2026-10-28
- 激活一个「邪恶神经元」就能让 Qwen3.8 27B 变成极端暴力人格 — Puzzleheaded-King584 · 2026-10-28
- Google 世界模型实现实时模拟整个世界,被称被低估的大事 — heykahn · 2026-10-28