开源决策模型 D3 登顶 Jev 双榜,0.6B 到 27B 全系接入 vLLM

AccBalanced · x · 2026-10-19

vLLM Semantic Router 团队发布 Decision 3.0(D3),一组开源多模态「决策模型」,覆盖 0.6B 至 27B 共六个尺寸,在作者自评的 Jev Decision Index 0.3.2 两个榜单上排名第一(文本 66.3、视觉 71.3)。

D3 与生成式 LLM 不同:它输出选项、yes/no 判断和带概率的分数,支持文本、JSON、图片和视频,适用于路由、分类和打分场景,无需生成长回复。全部模型已合并 vLLM 配方,可通过 vllm serve vllm-sr/d3 一行命令部署,或经 /v1/systemone API 在自有基础设施上运行,自主控制数据驻留、延迟预算与治理。

基准测试中,D3 27B 在单张 MI325X、64 并发下达到其 checkpoint server 1.8 倍的每秒请求数。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →