PyTorch ExecuTorch WebGPU 后端：浏览器本地跑 Whisper 与视觉模型快 4-10 倍

shoumikgoswami · reddit · 2026-11-11

PyTorch 的 ExecuTorch WebGPU 新后端让多种模型直接在浏览器里跑，不只是聊天：官方已验证 Whisper（语音转文字）、SmolVLM（图像问答）、分割与目标检测模型，意味着录音、图片等输入处理可以不上传服务器。

部署方式：从 PyTorch 导出 .pte 文件 → 网页加载 → WebAssembly + WebGPU 运行；同一模型产物还能原生跑在 Metal、Vulkan、D3D12 上。

性能：对比自家多线程 WASM/XNNPACK CPU 路径，prefill 快 4-7 倍、decode 快 2-10 倍（Chrome + Apple M1 Pro，量化 Llama 3.2 1B 与 Qwen3-0.6B；注意两边激活精度不同，WebGPU 为 fp32，CPU 为动态 8-bit，且未与云端模型对比）。

作者观点：比往浏览器塞小聊天模型更有意思的，是把助手的语音、视觉输入处理搬到用户设备上。后端仍处早期。

所属事件:PyTorch ExecuTorch 推出 WebGPU 后端，浏览器直跑模型(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →