vLLM 开源 Decision 2.0:单次前向 63ms 评 64 个问题
solyarisoftware · x · 2026-10-04
vLLM 发布 Decision 2.0:六个开源决策模型,规模从 0.6B 到 27B,采用 Apache 2.0 协议。
- 这类模型不生成答案,而是对选项打分;一次请求可携带 64 个问题,单次前向传播 63ms 完成(官方数据)
- 0.6B 模型单问题中位延迟仅 4.9ms
- 在 Jev Decision Index 上,0.6B/0.8B/2B/4B 均为同尺寸第一,27B 总排名第 3
- 部分尺寸得分达 Decision 1.0 的 2.5 倍
所属事件:vLLM 团队开源决策模型 Decision 2.0 全尺寸系列(3 条相关)→
「模型」频道最新
- 博主观察:Google 与 Anthropic 正赢得「公共 AI」之争 — imjustnewatai · 2026-11-19
- 谷歌 8 天连发三个旗舰模型,网友猜测此前 RSI 暗示另有后手 — haider1 · 2026-11-19
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19