千元预算囤 CMP 挖矿卡跑大模型?带宽瓶颈才是真坑

StellarWox · reddit · 2026-09-01

楼主考虑花约 1000 美元收一批 NVIDIA CMP 100-210 挖矿卡跑本地大模型(如 DeepSeek),但听说这类卡因显存带宽极慢会出问题,发帖求解释:如果模型完全装入显存不做 offload 是否就规避了问题?多卡按层切分时只需在卡间传递中间激活而非搬权重,是否影响不大?

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →