把 MoE 专家卸载到 Threadripper Pro,让核心火力全开的实测
HankYeomans · x · 2026-10-18
一位开发者分享:想知道 Threadripper Pro 的核心有多能打,可以把 MoE 模型的部分专家(experts)卸载到它上面跑。这种「GPU+CPU 混合专家卸载」的玩法能让 CPU 核心满载参与推理,是本地部署大模型时压榨硬件的实用技巧,不过帖子本身未展开具体配置细节。
「Infra」频道最新
- Qwen3.8 27B 本地实测：RTX Spark 上解码 19.3 tok/s、准确率 100% — draginol · 2026-10-19
- Surface 上 RTX Spark 实测 Gemma 4 12b:解码 31.6 tok/s — draginol · 2026-10-19
- NVIDIA 五分钟视频演示 Dynamo 在 Kubernetes 上扩展模型端点 — NVIDIAAI · 2026-10-19
- Mac Studio M5 Ultra 本地跑分击败双 DGX Spark，Qwen 达 164.8 tok/s — SumitGup · 2026-10-19
- 用 AMD 7900 XTX 生成为时 5 分 53 秒的音乐视频，可行吗 — wgizmo · 2026-10-19
- 高通骁龙 X2 NPU 本地跑 Qwen3 1.7B:解码 48.2 tok/s,价格约为 Nvidia 一半 — draginol · 2026-10-19