llama.cpp 默认 lazy-mode 改为 auto,51B 参数嵌入表留在磁盘

whiteh4cker · reddit · 2026-09-01

llama.cpp b10726 起默认 --lazy-mode 行为变为 auto:Qwen 3.5 Flash Next 中 51B 参数的 PLE n-gram 嵌入表不再载入内存,而是通过 mmap 在推理时按需读盘(即使 --load-mode none 也如此)。想恢复旧加载行为需显式传 --lazy-mode off。对内存受限的本地部署用户是利好,但可能带来磁盘 IO 开销。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →