LLaDA-8B 上 AMD NPU:比 CPU INT4 快 1.67 倍、能效高 8.9 倍
PyTorch · x · 2026-10-19
PyTorch 官方预告 PyTorchCon North America 2026 的海报演讲:AMD 的 Ravi Gupta、Shiksha Patel、Rishi Madduri 将介绍「掩码扩散语言模型在 AMD XDNA2 NPU 上的高效推理」:
- 在 Ryzen AI MAX+ 395 APU、序列长度 128 下,NPU 路径前向传播耗时 504ms、功耗 36W;CPU INT4 为 843ms、110W——快 1.67 倍、能效好 8.9 倍。
- 内容还涵盖 INT4 量化与图分割流水线、CastAvx 修复,以及 XDNA2 NPU 上单步 prefill 的运行时方案。
这是扩散式 LLM 在端侧 NPU 部署的少见实证数据。
「Infra」频道最新
- Qwen3.8 27B 本地实测：RTX Spark 上解码 19.3 tok/s、准确率 100% — draginol · 2026-10-19
- Surface 上 RTX Spark 实测 Gemma 4 12b:解码 31.6 tok/s — draginol · 2026-10-19
- 4x5090 工作站把 13A 插座烧熔：作者呼吁务必给 GPU 限功率 — Zo0x78 · 2026-10-19
- NVIDIA 五分钟视频演示 Dynamo 在 Kubernetes 上扩展模型端点 — NVIDIAAI · 2026-10-19
- Mac Studio M5 Ultra 本地跑分击败双 DGX Spark，Qwen 达 164.8 tok/s — SumitGup · 2026-10-19
- 用 AMD 7900 XTX 生成为时 5 分 53 秒的音乐视频，可行吗 — wgizmo · 2026-10-19