高通演示 vLLM 在 Dragonfly 上跑 Qwen3-VL-32B,FP16 本地推理

HowDevelop · x · 2026-11-19

高通开发者账号转发演示:在 Snapdragon/高通 Dragonfly 平台上,通过开源的 vLLM-QAIC 插件以原生 PyTorch + vLLM 运行 Qwen3-VL-32B,实现全 FP16 精度的本地推理,无需云端。

这意味着主流推理框架 vLLM 开始支持高通 NPU 侧的端侧大模型部署,对端侧多模态推理是一个值得关注的技术信号。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →