vLLM Semantic Router 主打「模型混合路由」,实测指令显著改变 Agent 工具调用

colinmcnamara · x · 2026-10-06

作者 Colin McNamara 分享了 AIMUG 演讲相关项目:LangChain、vLLM 项目以及 vLLM Semantic Router——一个把「模型混合(Mixture-of-Models)」做成可编程路由的项目,按请求把任务分发给最合适的模型(Kimi、Claude、Gemini、DeepSeek、Qwen 等均可接入),并引用了 Nadella、Jensen Huang 等人关于「meta model / 智能路由」的表态佐证多模型路由趋势。

同场的另一项实验同样有料:Jeff Linwood 用 Harbor 跑了 120 组评测,考察编码 agent 指令对 MCP 工具调用的影响——无任何指令时 40 次运行 0 次完成完整任务流,加一条简短指令后 20/40 完成,而带完善指令的 120 组编码测试全部通过。这说明 agent 能否正确走完工具调用链,很大程度上取决于给它的指令质量。