llama.cpp 在 GPU offloading 的 MoE 测试里，E 核比 P 核更快
dir3ctly · reddit · 2026-07-25
- 作者在一套混合架构的 Intel CPU + RTX 5090 机器上测试 llama.cpp，重点观察 CPU pinning 和 GPU/CPU offloading 对大模型推理吞吐的影响。
- 他的实测结果很反直觉：只用 E 核反而更快。
- 0–23 核全开：19.8 tok/s
- 仅 E 核（12–23）：22.7 tok/s
- P 核 + 部分 E 核（0–11）：15.6 tok/s
- 帖主想弄清楚为什么 P 核参与后性能下降，认为瓶颈可能在内存带宽，并补充了 Docker cpuset-cpus、CUDA 13、Qwen 3.5 122B A10B、长上下文等测试条件。
- 这是一条很典型的本地推理调优/排障讨论，核心价值在于 heterogeneous CPU 行为和 offloading 实测。
「Infra」频道最新
- Hermes Agent 给 Docker 沙箱加了凭证防火墙 — NousResearch · 2026-07-25
- Moonshot 开源权重 Kimi K3 逼近美国顶级模型，改写 AI 经济 — OmarUFlorez · 2026-07-25
- 摩根士丹利预计大科技资本开支 2027 年将达 1.16 万亿 — Beth_Kindig · 2026-07-25
- Marcus 称 AI 交易承压，CRWV 和 ORCL 明显回落 — GaryMarcus · 2026-07-25
- CachyLLama 分支大幅减少长会话重复 prompt 处理 — UsualResult · 2026-07-25
- GPT-5.6 智能体协作 40 小时，将 Kimi K3 类模型推理提速至 406 tok/s — nicodotdev · 2026-07-25