两块"奶奶级"P40 跑出 48 tok/s：老显卡llama.cpp 调优实录
Jumpy-Operation-4615 · reddit · 2026-09-06
一位自称完全不会写代码的普通 PC 用户，靠 Codex 帮忙调优，在自建的 2x Tesla P40（整机约 1100 美元）集群上把 Qwen 27B Q8 的推理速度从约 15 tok/s 提升到短上下文最高 48 tok/s、prefill 约 440 tok/s。
关键发现与做法：
- KV cache 用 F16 而非 Q8：F16 缓存让 MTP 投机解码的接受率显著高于 Q8，是需要配合调参但收益最大的改动。
- 使用自建 NCCL 的 llama.cpp/p40.cpp，tensor split 1:1 双卡、Flash Attention 开启、draft-mtp + ngram-simple 投机解码（draft 最大 6）。
- 长 22 万 token 的单一上下文槽；63,900-token prefill 实测 258 tok/s，且换后缀时 LCP 前缀缓存命中 fkeep=1.000，仅重算 4 个 token。
- 附完整生产配置命令行，含采样参数与 reasoning 设置。
结论：老数据中心显卡仍有可观余力，瓶颈多在配置而非硬件。
「Infra」频道最新
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23
- 优化 PCIe 小消息 all-reduce 内核，DeepSeek-V4.1 推理解码提速 12% — AlpinDale · 2026-10-23
- 海上油气平台拟改建为 AI 数据中心，烧闲置天然气供算力 — clemnt · 2026-10-23
- 同为原生 UI:Swift 版 80MB 仅限 Mac,Zig 版 10MB 三端通吃 — jedisct1 · 2026-10-23
- 开源本地版 NotebookLM:SurfSense 全文档问答与文档编辑 Agent — FurtiveMirth · 2026-10-23