vLLM 开源 Decision 2.0 决策模型:单次前向答 64 问,最快 63ms
vllm_project · x · 2026-10-03
vLLM Semantic Router 项目发布 Decision 2.0 系列开源决策模型,Apache-2.0 协议,可用 Transformers 直接加载。
- 尺寸覆盖 0.6B 到 27B,其中 0.6B、0.8B、2B、4B 在同尺寸下位列 Jev Decision Index 第一,27B 总榜第三
- 同尺寸成绩最高达 Decision 1.0 的 2.5 倍
- 单 GPU 上一次前向传播即可对同一请求回答 64 个问题,耗时 63ms
- 单次决策比 Jev API 快约 20 倍
由 Xunzhuo Liu 团队开发,定位是为 vLLM Semantic Router 提供高效路由决策能力。
「模型」频道最新
- Steve Yegge 亲测 Opus 5.5 两周:精度追平 Fable,召回略逊 — Steve_Yegge · 2026-10-03
- OpenAI Codex 全球额度重置疑跳过 Business 账号,客服建议买积分引众怒 — AdventurousFeeling19 · 2026-10-03
- Anthropic 用量 API 现神秘 iguana_necktie 字段,开发者求解 — bytebot · 2026-10-03
- 圈内人称 SSI 新模型值得期待,盛赞 Ilya 罕见表露兴奋 — iruletheworldmo · 2026-10-03
- ExploitBench 成绩高度依赖 harness:GLM 5.3 Flash 表现远超 4.1 — teortaxesTex · 2026-10-03
- Reddit 用户称 Opus 5.5 每周额度消耗远超预期,3 亿 token 就触顶 — Chemical-Ad-7982 · 2026-10-03