Decision Index 升级 0.4:仅用私有基准评分,治刷榜
multimodalart · x · 2026-10-22
Hugging Face 的 multimodalart 更新了模型评估项目 Decision Index 至 0.4 版,核心变化是对抗 benchmaxxing(刷榜):
- 评分完全基于私有与自建基准,不再使用公开榜单
- 在新领域加强了私有基准测试
- 已覆盖 224 个模型,各尺寸段均产生新的头部模型
该项目试图用私有题库规避模型对公开基准过拟合的问题,读者可在线体验。
所属事件:Decision Index 升级 0.4：弃用公开基准抗刷榜(2 条相关)→
「模型」频道最新
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22
- 研究者用贝叶斯视角质疑：LLM 跑分噪声大到模型其实打平 — remilouf · 2026-10-22
- OpenAI 新定价页被批「零透明」：500 美元档用量无处可查 — Effective_Tap_9786 · 2026-10-22
- OpenAI 定价页只写「更多用量」不写数字，重度用户怒斥不透明 — Monstermage · 2026-10-22
- Nemotron 3.5 Super VL 实测:NVFP4 单卡 Blackwell 吞吐反超双卡 BF16 — TheZachMueller · 2026-10-22
- 实测 LFM2.5-24B-A2B 翻车：循环输出、代码残缺，附完整配置 — tracagnotto · 2026-10-22