Nathan Lambert：私榜让开源模型显得落后，但缺社区帮你抓 bug
natolambert · x · 2026-10-28
Hugging Face 研究员 Nathan Lambert 就评测行业转向「private benchmarks」发表看法：私密评测确实常显示开源模型差距更大，但问题在于私榜失去了社区帮你揪出评测中不可避免的 bug 的能力。他表示自己 50/50 地纠结于私密评测与开源评测哪种路线更好。
所属事件:Nathan Lambert 长文剖析评测困境:私榜与开源模型真实差距(4 条相关)→
「研究」频道最新
- 「3SUM 五天前被解决」:经典问题突破刷屏成圈内梗 — gleech · 2026-10-28
- CMen 发布 Gym-Anything-RT:最强模型实时任务仅得 9%,人类达 45% — wellecks · 2026-10-28
- 152人盲测：Suno与人类作曲打平，听众几乎分不出谁是谁 — teropa · 2026-10-28
- 论文附录设"幕后花絮"章节，保留研究过程的真实直觉 — benno_krojer · 2026-10-28
- EMNLP 2026 圆桌：如何衡量 AI 与 NLP 的社会正向影响 — ZhijingJin · 2026-10-28
- 百度 oHC 用四元数做正交残差连接,3.9B 模型 BPB 降 6.2σ — teortaxesTex · 2026-10-28