Hamel Husain 谈 BenchGate:问题不在榜单而在盲目崇拜
HamelHusain · x · 2026-11-05
Hamel Husain 认为 BenchGate 争议要拆成两层看:一是有认真的人在尽力做好基准,二是有人盲目消费榜单、另有利益相关方包装推广,给了 benchmark 超出实际的权威性。他认为问题主要出在第二类人,但第一类人也应意识到这种生态,个别情况属于故意共谋。他回应 @sarahcat21 时指出,与其指责现有 benchmark 的缺陷,不如为致力于修复的人开发工具、系统与支持;这也解释了为什么 benchmark 生态不同于「人人受益于公共品」的开源世界。
所属事件:BenchGate 引发热议：批评基准易，修复基准难(2 条相关)→
「模型」频道最新
- Ripple 号称 3200 万美元算力练成开源编码 SOTA，被质疑对比口径存疑 — teortaxesTex · 2026-11-05
- 曝谷歌 Gemini 4 Flash（代号 Hydrogen）已在 AI Studio 与 LMArena 悄悄测试 — lyraxana · 2026-11-05
- Perceptron新3D手部模型：重建精度比ACE-Ego-Hand高12-25% — gui_penedo · 2026-11-05
- 0.8B 小模型登顶开源流式安全护栏，超越大 5-10 倍的对手 — const_reborn · 2026-11-05
- RoboColosseum 真机测试:MolmoAct 2 仅次于 GPT-6 Astra 居第二 — DJiafei · 2026-11-05
- 用户晒 Claude Max 订阅账单：月费 100 美元换来 Opus 接近无限量 — prasenx · 2026-11-05