Intel至强跑大模型带宽折半？本地MoE推理性能调优实录
GetOutOfMyFeedNow · reddit · 2026-08-09
开发者在 Xeon w7-3465 上尝试运行 DeepSeek-V4-Flash-0731（MXFP4 格式），理论最大内存带宽可达 153GB/s，但实际跑出的速度远不及预期。
- 硬件配置：4 条 RDIMM DDR5-4800，物理核心 28 个，逻辑核心 56 个。
- 性能瓶颈：实测带宽仅在 36-40GB/s 左右徘徊，推理速度仅 3-4 tokens/s。
- 调优尝试：通过 GPT 辅助排查，调整 --threads 和 --threads-batch 设置匹配物理核心数后，推理速度一度提升 2.4 倍，但整体性能仍未达到机器理论上限。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16