jev Decision Index v0.3 升级：引入私有基准题库防止刷榜，新增视觉任务
maximelabonne · x · 2026-10-07
- jev Decision Index 发布 v0.3：换用更强的一组基准，并加入占一半权重的私有评测集，使排名反映基准之外的真实能力、更难被针对性刷分。
- 新增视觉（vision）评测维度。由 multimodalart 转发扩散。
所属事件:SWE Decision Index v0.3发布：私有评测与视觉能力防刷榜(4 条相关)→
「模型」频道最新
- 开发者吐槽 token 计费：像计费小时一样激励扭曲 — amankhan · 2026-10-07
- JevBench 拆分榜单：开源模型与 API 服务商将分开排名 — airesearch12 · 2026-10-07
- 热评：评估网络攻防能力时激活参数量基本不重要，关键在 RL 环境覆盖 — teortaxesTex · 2026-10-07
- Decagon 发布 Voice 3：双工架构让语音客服 agent 边说边听 — Scobleizer · 2026-10-07
- 决策模型 JEV-9B 登上 Hugging Face 趋势榜,基于 Qwen3.5 微调 — autotrust · 2026-10-07
- 「Astra 暂停综合征」刷屏:steering 或致模型沉默,OpenAI 有解法 — thursdai_pod · 2026-10-07