llama.cpp 待合 PR 汇总：CPU/混合推理提速
pmttyji · reddit · 2026-08-30
汇总了 llama.cpp 仓库中 30+ 个与 CPU、RAM、磁盘及混合推理相关的待合并 PR。主要优化点包括：MoE 专家缓存与磁盘流式传输、AVX/VNNI 指令集加速、量化内核优化(RVV/NEON/AMX)、NUMA 节点镜像、KV Cache 克隆以及内存峰值控制等。这些改进旨在显著提升 CPU 和混合环境下的推理速度。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15