llama.cpp 启用 NUMA 镜像，双路 EPYC 推理性能暴增 137%
mattescala · reddit · 2026-08-30
针对双路服务器性能因跨 Socket 读取权重而受限于互连带宽的问题，作者启用了 ggml-cpu.h 中闲置的 NUMAMIRROR 策略，在每个 NUMA 节点保留一份完整权重副本。虽然这会双倍占用内存，但让每颗 CPU 核心都能本地读取数据。实测显示，DeepSeek-V4-Flash Q8 和 GLM-5.2 Q3KXL 性能提升 64%71%，gemma-4-31B Q40 dense 推理速度更是暴涨 137%。PR 已提交至 llama.cpp。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16