llama.cpp 滑窗注意力上下文检查点堆爆内存的排查复盘

jomi-se · reddit · 2026-10-31

作者在 llama.cpp 上跑 Gemma 4 12B 压测时遭遇崩溃，排查发现是 RAM（而非 VRAM）耗尽的 OOM。元凶是上下文检查点不断堆积：这些检查点是滑窗注意力（Sliding Window Attention）在关键位置保存的滑窗值快照，用于在回退到已滑出窗口的位置时避免从头重算 KV。

默认每个 slot 保留 32 个检查点，每个约 320MiB，16GB 内存根本扛不住；而作者的简单对话续传场景 4 个就够用。他还让 Opus 做了一段动画视频来可视化这一机制，并写了博客复盘。