llama.cpp 默认 lazy-mode 改为 auto,51B 参数嵌入表留在磁盘
whiteh4cker · reddit · 2026-09-01
llama.cpp b10726 起默认 --lazy-mode 行为变为 auto:Qwen 3.5 Flash Next 中 51B 参数的 PLE n-gram 嵌入表不再载入内存,而是通过 mmap 在推理时按需读盘(即使 --load-mode none 也如此)。想恢复旧加载行为需显式传 --lazy-mode off。对内存受限的本地部署用户是利好,但可能带来磁盘 IO 开销。
「Infra」频道最新
- 英伟达等用虚拟模型模拟 GPT-5 做基准测试 — nrehiew_ · 2026-09-01
- 算力折旧悖论:代币营收 vs 硬件转售 — AccBalanced · 2026-09-01
- 算力成瘾:博主花 1.8 万组装电脑仍不够,欲将公寓改数据中心 — kevinnbass · 2026-09-01
- 微软遭大规模宕机:365、Azure、Teams 等服务全线中断 — cyb3rops · 2026-09-01
- 数据中心建设争议:缺乏透明度与 NDA 条款 — cremieuxrecueil · 2026-09-01
- 盘点反数据中心论点:水电、税收与选址争议 — cremieuxrecueil · 2026-09-01