llama-server缓存调优求助
Reasonable_Goat · reddit · 2026-07-12
一位用户在一台 Strix Halo 机器上跑多个模型，尤其是 **Qwen 3.5 122B** 时，发现缓存命中情况会显著影响性能；如果在 100k 上下文下发生完整 cache miss，预处理时间会飙到 10–20 分钟，非常影响 agentic 工作流。 他列出了当前已经尝试的配置，并说明这些设置虽然有帮助，但仍有几个问题： - `--cache-ram 16384`：扩大可用于 cache 的内存 - `--ctx-checkpoints 72` 与 `--checkpoint-min-step 4096`：把上下文切成多个 checkpoint - `--parallel 1`：让单会话独占完整 cache - `-fa on, --spec-type draft-mtp --spec-draft-n-max 3`：作者认为和缓存关系不大 仍存在的痛点包括： - checkpoint 间隔较大，快速 agent 迭代时每次穿越 checkpoint 都要花时间 - 用户回合后有时会错过 checkpoint，尤其是在某些 agent 交互流程里 - 虽然设了 72 个 checkpoint，较早的 checkpoint 似乎会逐渐消失，导致更大的重算 - 作者在考虑 K/V 量化（如 q8）是否能用更少内存保留更多 checkpoint，以及它对质量的影响 帖子本质是在请教 llama-server 的缓存调参思路。