vLLM 开源 Decision 2.0 决策模型:单次前向答 64 问,最快 63ms
vllm_project · x · 2026-10-03
vLLM Semantic Router 项目发布 Decision 2.0 系列开源决策模型,Apache-2.0 协议,可用 Transformers 直接加载。
- 尺寸覆盖 0.6B 到 27B,其中 0.6B、0.8B、2B、4B 在同尺寸下位列 Jev Decision Index 第一,27B 总榜第三
- 同尺寸成绩最高达 Decision 1.0 的 2.5 倍
- 单 GPU 上一次前向传播即可对同一请求回答 64 个问题,耗时 63ms
- 单次决策比 Jev API 快约 20 倍
由 Xunzhuo Liu 团队开发,定位是为 vLLM Semantic Router 提供高效路由决策能力。
所属事件:vLLM 团队开源决策模型 Decision 2.0 全尺寸系列(3 条相关)→
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- Gemini 4 Neon 亮相:快速推理模型,$3/$15 每百万 tokens — TorturedPoet30 · 2026-11-19
- 截图确认 Gemini 4 Neon 上线,定价 $3/$15 每百万 tokens — Recoil42 · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19