千元预算囤 CMP 挖矿卡跑大模型?带宽瓶颈才是真坑
StellarWox · reddit · 2026-09-01
楼主考虑花约 1000 美元收一批 NVIDIA CMP 100-210 挖矿卡跑本地大模型(如 DeepSeek),但听说这类卡因显存带宽极慢会出问题,发帖求解释:如果模型完全装入显存不做 offload 是否就规避了问题?多卡按层切分时只需在卡间传递中间激活而非搬权重,是否影响不大?
「Infra」频道最新
- 买 GPU 不为替代 API,而为掌握量化与推理优化技术 — max_paperclips · 2026-09-01
- 观点:数据中心应改名为算力中心,以反映 AI 驱动的本质 — gandamu_ml · 2026-09-01
- Gittensor RTX 5090 优化版 Qwen3.8 17 天下载超 26 万 — const_reborn · 2026-09-01
- VMware Explore 发布 Private AI Cloud,直击企业模型生产痛点 — DavidLinthicum · 2026-09-01
- 马斯克驳斥轨道AI不可能论:批评者连散热物理常识都不懂 — elonmusk · 2026-09-01
- 播客解读:用AI聊天机器人真会推高你的碳足迹吗 — AndyMasley · 2026-09-01