高通 GenieX 实操：在骁龙设备用 NPU 跑大模型
carrycooldude · x · 2026-08-09
介绍了如何使用高通的 GenieX CLI 工具在骁龙设备上本地部署大模型。
- 模型拉取：支持从 AI Hub、Hugging Face 或本地路径下载模型，并自动处理 GGUF 格式的量化版本（如 Q40, Q80 等）。
- 推理与计算：通过 geniex infer 启动交互对话，支持灵活切换底层计算单元（NPU 或 GPU），其中 Q40 精度对 Hexagon NPU 的支持最好。
- 思维链控制：支持通过 --think 参数控制模型是否输出推理过程。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16