llama.cpp 新增 --shard 参数,支持跨盘加载分片与独立 PLE 文件
pmttyji · reddit · 2026-11-10
llama.cpp 合入新 PR(#31185),提供 --shard 命令行参数,支持从多个位置加载模型分片,典型用例是从单独的 GGUF 文件加载 PLE(engram)文件。
要点:
- 转换工具支持为所有已支持 PLE 的模型生成不带 PLE 和仅含 PLE 的两种 GGUF
- 多分片机制允许组合来自不同提供方的模型分片,让不同量化版本/发布共用同一模型片段
- 提供可选 flag 跳过分片文件数校验,以加载不同打包方式的模型片段
- --shard 与 --ple 是互为别名,无语义差别
示例用法:
llama-server -m model-shard-00001-of-00003.gguf --shard /other/drive/model-shard-00003-of-00003.gguf
llama-server -m model-with-ple.gguf --ple model-engrams.gguf
对本地部署多盘/多来源模型分片的用户是实用的工程改进。
「Infra」频道最新
- 挪威暂停新数据中心电力预留申请,最长或至 2027 年 8 月 — Polymarket · 2026-11-10
- 图解 PagedAttention：像操作系统虚存一样管理 KV cache — NielsRogge · 2026-11-10
- 台积电 10 月营收同比暴涨 60%，AI 芯片需求持续推高增速 — firstadopter · 2026-11-10
- Archil 称自托管 Spark 比 Databricks 快 2-5 倍且成本减半 — massimosgrelli · 2026-11-10
- 10 张 GPU、467 次实测：ComfyUI 量化格式选型基准出炉 — mybrianonacid · 2026-11-10
- 选 agent 沙箱的四个硬指标:内置 CLI、权限隔离、屏幕流、密钥代理 — pramodk73 · 2026-11-10