llama.cpp 待合 PR 汇总：CPU/混合推理提速
pmttyji · reddit · 2026-08-30
汇总了 llama.cpp 仓库中 30+ 个与 CPU、RAM、磁盘及混合推理相关的待合并 PR。主要优化点包括：MoE 专家缓存与磁盘流式传输、AVX/VNNI 指令集加速、量化内核优化(RVV/NEON/AMX)、NUMA 节点镜像、KV Cache 克隆以及内存峰值控制等。这些改进旨在显著提升 CPU 和混合环境下的推理速度。
「Infra」频道最新
- 分析师 Ben Bajarin：行业仍需大量新增算力 — BenBajarin · 2026-10-15
- 新一代 GraalVM 亮相:免构建启动快 4 倍,内存省 50% — RealGeneKim · 2026-10-15
- DevFest Chennai 2026 将设端侧 AI 专场，讲 Qualcomm AI Stack — carrycooldude · 2026-10-15
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15