jev Decision Index v0.3 发布:加入私有评测集与视觉能力排名
multimodalart · x · 2026-10-07
Hugging Face 的 multimodalart 发布 jev Decision Index v0.3,一个追踪模型决策/选择能力的独立排名:
- 换用了更强的基准组合,其中一半为私有评测集——排名不再只反映公开 benchmark 上的刷分,试图捕捉 benchmark 之外的真实技能
- 新增视觉(Vision)维度,开始覆盖多模态模型的决策表现
- 排名公开在 https://t.co/Su4OXqJwz0 ,可作为公开榜单之外的补充参考
所属事件:SWE Decision Index v0.3 发布：私有关卡加视觉评测防刷榜(2 条相关)→
「模型」频道最新
- ChatGPT 传闻取消免费用户文字聊天上限并升级默认模型 — hey_abusiddik · 2026-10-07
- 5060 Ti 16GB 跑 Qwen3.8 Flash Next IQ1_M:55 tok/s 还能写出像样落地页 — bobaburger · 2026-10-07
- EmbeddingGemma 2 手机端离线跑多模态 RAG,文本仅占 191MB 内存 — Saboo_Shubham_ · 2026-10-07
- Paradigm 发布数学推理模型：7 项高难基准评测套件全开源 — tensorqt · 2026-10-07
- Limite 1B 借鉴 nanogpt speedrun 架构,用 NorMuon 训练 — tensorqt · 2026-10-07
- 1B 小模型 AIME 2026 考 94 分,Paradigma 开源 Limite 1B Violetto — tensorqt · 2026-10-07