PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍
PyTorch · x · 2026-10-27
PyTorch 官方博客发布 Arm 工程师撰写的案例研究,讲如何把 NVIDIA Nemotron 3.5 流式 ASR 模型移植到 ExecuTorch,在 Pixel 11 上实测优化。
- 流式评测的关键洞见:Qwen3-ASR-1.7B 批处理准确率最高,但用 2.4 秒音频块评测时词错率(WER)飙升 77%;准确率必须按部署时的 chunk 节奏来测
- NVIDIA Nemotron Speech Streaming 0.6B 在 560ms chunk 下流式 WER 最低
- 用 Arm SME2 矩阵指令 + FP16 与按通道权重量化(QC8W),在 Pixel 11 上实现最高 2.12 倍处理加速
- 给出完整链路:PyTorch 模型 → ExecuTorch 导出 → .pte 文件 → XNNPACK/KleidiAI 微内核 → SME2 硬件执行,并分析算子耗时与原生内核
「Infra」频道最新
- 估算：Anthropic 约 11GW 算力中 42% 为 NVIDIA GPU — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27