37 项基准、每模型 13 万次决策：jeff 擅长工具与自动化任务
multimodalart · x · 2026-09-22
multimodalart 介绍一项自建基准：对参评模型共跑 37 个基准、覆盖 5 大类任务，每个模型 13 万次决策，全部在同一硬件（1x RTX 6000 PRO）上运行。基准刻意设置得较难，避免发布即饱和。jev 在各类任务上的表现显示其尤其擅长工具使用与自动化任务。
所属事件:Decision Index 0.1 发布：13 万次决策横评 30+ 开源决策模型，Jev 居首(7 条相关)→
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12