高通 GenieX 实操：在骁龙设备用 NPU 跑大模型
carrycooldude · x · 2026-08-09
介绍了如何使用高通的 GenieX CLI 工具在骁龙设备上本地部署大模型。
- 模型拉取：支持从 AI Hub、Hugging Face 或本地路径下载模型，并自动处理 GGUF 格式的量化版本（如 Q40, Q80 等）。
- 推理与计算：通过 geniex infer 启动交互对话，支持灵活切换底层计算单元（NPU 或 GPU），其中 Q40 精度对 Hexagon NPU 的支持最好。
- 思维链控制：支持通过 --think 参数控制模型是否输出推理过程。
「Infra」频道最新
- RTX 3090本地运行AI视频模型最佳配置探讨 — BackgroundCow1411 · 2026-08-09
- LeCun 辩 AI 算力战：突破性芯片常因软件匮乏而失败 — ylecun · 2026-08-09
- AI 算力代价：英国数据中心扩张正引发水资源与电力危机 — nordicinst · 2026-08-09
- 开发者制作 MiniMax H3 RunPod 一键部署模板 — Draufgaenger · 2026-08-09
- 亚马逊自建巨型燃气电厂，或成全美最大气候污染源 — Nunki08 · 2026-08-09
- 北大等提出 UltraEP：突破大规模 MoE 训练 GPU 负载瓶颈 — jiqizhixin · 2026-08-09