ExecuTorch 支持在骁龙 X Elite 笔记本编译,端侧推理两条路实测
carrycooldude · x · 2026-10-22
PyTorch 官方 ExecuTorch 现已支持在 Windows 骁龙 X Elite 笔记本上编译构建,为加速 PC 硬件上的本地 AI 开发打开通路。作者给出两条端侧推理路径:
- ExecuTorch:已有 PyTorch 模型可直接用它跑端侧推理,当前 demo 在 CPU 上运行。
- GenieX:GGUF 格式模型可经 GenieX 运行,支持按设备选择 NPU、GPU 或 CPU 后端。
作者用 Llama 3.2 1B 在三星 Galaxy S25 Ultra 上做了本地推理演示,简单口诀:PyTorch 模型走 ExecuTorch,GGUF 模型走 GenieX。
「Infra」频道最新
- 1 人 3.5 个月成本不足千万美元完成预训练,代码超越 DeepSeek-V4 — vjkaruna · 2026-10-22
- Crusoe 在 PyTorch 大会展示 LLM 后训练平台,兼容 Tinker API — PyTorch · 2026-10-22
- SGLang 发布 TPU 插件并已在 Meta 生产推理,单流解码达 770 tok/s — ying11231 · 2026-10-22
- 开源 PR 优化 DeepSeek-V4.1 推理:4 张 RTX PRO 6000 实测提速 — AlpinDale · 2026-10-22
- vLLM Day-0 支持 Flint:单卡 GB200 跑出 500 TPS — _rockt · 2026-10-22
- Grass 播客:训练数据已成盈利生意,头部门槛实验室都是客户 — grass · 2026-10-22