折腾矿卡:CMP 170HX 运行 llama.cpp 提速 50% 实测
fragment_me · reddit · 2026-08-14
一位开发者分享了使用两张解锁后的 CMP 170HX 矿卡(65GB)运行 llama.cpp 的性能调优经验。
通过强制开启 GGMLCUDAFORCECUBLAS,在运行 Qwen 3.6 27B 模型时,其 Prompt 处理速度从每秒 1000 token 提升至 1500 token,提升幅度约 50%。不过作者指出,即便提速,该卡的整体速度仍不及 RTX 3090。
所属事件:实测CMP170HX矿卡:256GB显存高效运行大模型(2 条相关)→
「Infra」频道最新
- NVIDIA 与 Meta 联合发布开源模型部署与沙盒智能体实战指南 — NVIDIAAI · 2026-08-14
- 单卡 H200 跑 NVIDIA Nemotron 3.5:9秒生成2千行代码 — NVIDIAAI · 2026-08-14
- Mach33 发布 AI 算力预测模型,推演至 2040 年供需 — shaunmmaguire · 2026-08-14
- Hillock v0.4:超低显存占用的本地神经符号记忆引擎 — Equivalent-Flan-1590 · 2026-08-14
- AMD 拟发债融资 50 亿美元,加码 AI 算力投资 — Polymarket · 2026-08-14
- 仅需 5GB 显存,开发者用 MiniMax H3 在本地 PC 打造专属宇宙 — cocktailpeanut · 2026-08-14