vLLM 开源 System Duo 语义路由：快慢双系统按需分流推理任务
vllm_project · x · 2026-11-06
vLLM 项目团队发布开源项目 System Duo，由 Xunzhuo Liu 与 Semantic Router 团队打造，思路借鉴《思考，快与慢》的双系统架构。
- System One：轻量快速决策模型，瞬时处理分诊、安全护栏、校验等高频简单判断，每个选项附带概率输出；
- System Two：路由器只在真正需要深度推理时，才把请求转给合适的模型并分配相应推理力度，避免过度调用大模型；
- 全部开源、基于 vLLM 运行，提供托管 API（app.vllm-sr.ai），首批调用免费发放 key，标注 research use only；演示用例包括客服工单分诊（billing vs engineering）与 DeepSeek Harness 编码 agent 沙箱会话。
这套「一个路由器、两颗大脑」的编排方式，可直接用于给 agent 降本提速。
「编程与Agent」频道最新
- NVIDIA 推出 USDCode MCP 服务器，助 Isaac Sim 脚本开发 — modelcontextprotocol · 2026-11-06
- 老程序员用 Claude 一周做出飞行 MMO:1.5k DAU、已收费运营 — eeenmachine · 2026-11-06
- DeepSeek-V4.1-Flash 刷屏编码榜：FrontierCode 28.5% 领先 Kimi K3 — soumithchintala · 2026-11-06
- 代码暴增2450%但发布仅增30%,AI Engineer 大会点破 SDLC 瓶颈 — 0xkarasy · 2026-11-06
- 开发者日常：让 AI agent 持续提交设计稿等他点评 — nathanborror · 2026-11-06
- 「slopsurfing」:把代码烂度精确控制在实验效率最优水平 — nabla_theta · 2026-11-06