纯 CPU 跑 Qwen3.5-4B 达 11.4 tok/s,llama.cpp 调参提速 10%
solyarisoftware · x · 2026-10-29
开发者 TeksEdge 发布了一个免 GPU、U 盘即插即用的独立 .exe,在 Ryzen 5 7540U 笔记本(6C/12T,无独显)上纯 CPU 运行 Qwen3.5-4B,并给出完整 llama.cpp 配方:
- 模型:Qwen3.5-4B Q4KM GGUF,KV cache 用 q40
- 关键参数:--threads 9、--threads-batch 12、--prio 2、--batch-size 2048、--ubatch-size 512、--flash-attn on、--repack、--mmap,全部 GPU offload 关闭
- 有趣发现:开启 MTP=3 反而更慢(约 10 tok/s),普通 decode + 9 线程 + Q4 KV 达到约 11.4 tok/s
作者表示企业出于省钱和隐私考虑已在部署本地模型,这个调参相比默认配置带来约 10% 的速度提升,全部来自 llama.cpp 参数优化。
「Infra」频道最新
- Beam 接入 Hugging Face:分布式网络搬运百万数据集 — markjeffrey · 2026-10-29
- 微软裁员4800人省下的钱,只够付两天AI数据中心开销 — aakashgupta · 2026-10-29
- Reddit 用户为 Strix Halo 手写内核，vLLM 长上下文预填充最高提速 31 倍 — asfbrz96 · 2026-10-29
- 韩国 AI 芯片创企 FuriosaAI 新融资,估值翻四倍至 29 亿美元 — dinabass · 2026-10-29
- 开发者吐槽：Claude Code 源码误上生产、骨干网络频繁掉线成日常 — cuenca · 2026-10-29
- 实时 AI 应用系统设计拆解:从流处理到边缘计算的 10 个组件 — goyalshaliniuk · 2026-10-29