Intel至强跑大模型带宽折半？本地MoE推理性能调优实录
GetOutOfMyFeedNow · reddit · 2026-08-09
开发者在 Xeon w7-3465 上尝试运行 DeepSeek-V4-Flash-0731（MXFP4 格式），理论最大内存带宽可达 153GB/s，但实际跑出的速度远不及预期。
- 硬件配置：4 条 RDIMM DDR5-4800，物理核心 28 个，逻辑核心 56 个。
- 性能瓶颈：实测带宽仅在 36-40GB/s 左右徘徊，推理速度仅 3-4 tokens/s。
- 调优尝试：通过 GPT 辅助排查，调整 --threads 和 --threads-batch 设置匹配物理核心数后，推理速度一度提升 2.4 倍，但整体性能仍未达到机器理论上限。
「Infra」频道最新
- 英伟达 Rubin Ultra 架构调整：削减 HBM 转向光互连 — zephyr_z9 · 2026-08-09
- 硬核玩家在安卓手机原生跑 SD：SDXL 出图需 20 分钟 — Silent-Paramedic4063 · 2026-08-09
- LFM 2.6B 本地跑出 260T/s：开发者实测极佳的轻量级助手体验 — Borkato · 2026-08-09
- 曝英伟达拟向AI数据中心开发商Lancium投资30亿美元 — rohanpaul_ai · 2026-08-09
- 硬核极客：在 81KB 内存的 ESP32 上跑起 LLM — Similar_Wealth_1850 · 2026-08-09
- Ryan Dahl 推出 celld：基于 SQLite 的自托管分布式 Durable Objects — steren · 2026-08-09