P40 跑 35B 模型到 80 tok/s
otacon6531 · reddit · 2026-07-16
作者分享了自己在一张 **NVIDIA P40 24GB** 上跑 **Qwen3.6:35B UD Q4_K_M** 的实测，宣称可以达到 **80 tok/s** 的 burst speed，并且还能带上 **100k context**。 关键配置包括： - 使用 Unsloth 的模型和 TheTom 的 TurboQuant 版 llama.cpp - 开启 TurboQuant，但没有进一步降到 Turbo2，以免影响 agent 质量 - 关闭 reasoning，避免模型陷入 thinking loop - 不加载 vision 组件，省下约 300MB 显存，从而腾出空间装下完整上下文 作者的目标是继续榨干这张老卡的性能，同时尽量不把模型调坏。