llama.cpp 默认 lazy-mode 改为 auto，51B 参数嵌入表留在磁盘
whiteh4cker · reddit · 2026-09-01
llama.cpp b10726 起默认 --lazy-mode 行为变为 auto：Qwen 3.5 Flash Next 中 51B 参数的 PLE n-gram 嵌入表不再载入内存，而是通过 mmap 在推理时按需读盘（即使 --load-mode none 也如此）。想恢复旧加载行为需显式传 --lazy-mode off。对内存受限的本地部署用户是利好，但可能带来磁盘 IO 开销。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16