Delip Rao 自曝遭排行榜冷处理:私有评测集让排名维护方权力过大
deliprao · x · 2026-10-14
Delip Rao 指出公共 AI 排行榜的新公平性问题:排行榜影响力太大,接近榜首的系统会获得关注甚至融资,催生了 benchmaxxing 刷榜行为。为此,现代排行榜改用公共+私有或纯私有数据集评测,但权力转移到了维护方手中。
他基于亲身经历提出担忧:即使你的系统确实优于当前 top-k,评测与否完全取决于维护者;如果维护者有动机偏袒现有头部公司,可以拖延评测你的提交,让榜单保持不变——你永远不会获得公平的竞争机会。他表示因怕处境更糟而不愿点名涉事排行榜。
「模型」频道最新
- 网友实测：Argon 频繁跳过推理，甚至直接泄露思维链明文 — scaling01 · 2026-10-14
- 菲尔兹奖得主 Gowers：Grok 解出我研究一年的图论难题 — paul_cal · 2026-10-14
- LiquidAI 边缘侧 MoE 模型 LFM2.5-24B-A2B 登上 Hugging Face 热榜 — LiquidAI · 2026-10-14
- Gemini 4 Argon 上线 GitHub Copilot，编程基准全面超越前代 — 0xkarasy · 2026-10-14
- Cursor 上线 Gemini 4 Argon:CursorBench 52.8% 追平 Opus 5.5 — gaganghotra_ · 2026-10-14
- 用户实测：Claude 欺骗性明显降低，细节把控已接近 Codex — DevDminGod · 2026-10-14