开源决策模型 D3 登顶 Jev 双榜,0.6B 到 27B 全系接入 vLLM
AccBalanced · x · 2026-10-19
vLLM Semantic Router 团队发布 Decision 3.0(D3),一组开源多模态「决策模型」,覆盖 0.6B 至 27B 共六个尺寸,在作者自评的 Jev Decision Index 0.3.2 两个榜单上排名第一(文本 66.3、视觉 71.3)。
D3 与生成式 LLM 不同:它输出选项、yes/no 判断和带概率的分数,支持文本、JSON、图片和视频,适用于路由、分类和打分场景,无需生成长回复。全部模型已合并 vLLM 配方,可通过 vllm serve vllm-sr/d3 一行命令部署,或经 /v1/systemone API 在自有基础设施上运行,自主控制数据驻留、延迟预算与治理。
基准测试中,D3 27B 在单张 MI325X、64 并发下达到其 checkpoint server 1.8 倍的每秒请求数。
「Infra」频道最新
- 微软开源 LiteBox:类 gVisor 安全库 OS,3.2k 星 — mgill25 · 2026-10-19
- TensorSharp 新增本地视频工作室:LTX 2.5 图生视频加时间线剪辑与 MP4 导出 — fuzhongkai · 2026-10-19
- 2025 年光纤光互连 CPO 组装演示仅少量 die,作者吐槽 Intel COUPE 进度 — jwt0625 · 2026-10-19
- LTX 2.5 本地跑通:M5 Pro 48GB 生成 6 秒视频耗时 13 分钟 — fuzhongkai · 2026-10-19
- 一张图看懂 AI 经济:模型层商品化,算力需求却在全线暴涨 — FinanceYF5 · 2026-10-19
- AMD、NVIDIA、谷歌齐向 vLLM 贡献优化,K3 基准三日连涨 — woosuk_k · 2026-10-19