Threadripper PRO 实测：24 核即可喂饱 8 通道 DDR5 的 MoE offload
mr_il · reddit · 2026-09-10
作者为搭建「显存外跑超大 MoE 模型」的 PC，在 vast.ai 租用 Threadripper PRO 9975WX（32 核 Zen 5，8 通道 DDR5），用 FreeToken 的生产级 W4A8 dsfp4 GEMV 内核，按 DeepSeek V4.1 Flash 的几何结构（384 个路由专家 × 18.8MB ≈ 6.7GiB，每 token 6 专家）实测 CPU 侧专家计算性能。
核心结论
- 24 核以上核数不再重要：32 核相对 24 核爆发模式仅 +2.2–2.4%，持续模式为 0%；瓶颈在内存子系统而非核数。便宜约 $1200 的 9965WX 是理性之选。
- FP4 内核可达 STREAM 带宽的约 80%（24 核时 178–182 GB/s vs STREAM 222 GB/s）。
- 内存热节流不可忽视：持续压榨约 8 分钟后吞吐从 182 降到 150 GB/s（-17%），时钟未变，指向 DRAM/IMC 热节流——给 DIMM 散热气流可能值 20% 的解码速度。
换算成 tokens/s（每 token 约 4.5GB 路由专家，24 核）：0% 缓存命中约 33 tok/s，60% 命中约 83 tok/s，75% 命中约 133 tok/s。对比 PCIe 5.0 x16 流式读取（约 50 GB/s），CPU 路径对未命中专家快 3–3.7 倍，这正是 FreeToken 混合模式把多数 miss 放 CPU 算的原因。
TL;DR：买内存通道数和内存散热，别买核数；24 核已饱和 8 通道 DDR5，升 32 核最多 +2%。 注意事项：租用单机、容器环境、方法与原始 CSV 在仓库公开。
「具身」频道最新
- 用户用 Claude Code 拆解本田车机：发现 root 后门与静默装 APK — IndraVahan · 2026-10-26
- Temple 健康设备开启预售，用户质疑：未见实效前谁愿戴 — abhishekcode42 · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- Luke Wroblewski 细节控：iPhone Duo 圆角复刻初代 iPhone — LukeW · 2026-10-26
- 人形机器人两年跑赢人类：半马破纪录、百米超博尔特 — ben_j_todd · 2026-10-26
- 人形机器人每一步都是连续纠偏：看 demo 要看摔倒后怎么恢复 — Olivier__OG · 2026-10-26