跑本地大模型该加多少显存内存?Reddit 热议容量与速度取舍

MiceLiceandVice · reddit · 2026-09-03

一位本地推理爱好者在 Reddit 发起讨论:怎样的硬件升级才真正「有意义」。他的现状是 32GB DDR5 内存 + 16GB GDDR7 显存的主机,认为从 32+16 升到 64+16 并不划算,而显存/内存容量对齐(如 32+32)更有效。

他计划再攒一台 DDR4 + HBM2 推理机作为补充:虽然速度更慢,但更便宜的硬件能带来更大的总容量,从而跑更多样的大模型。他向社区提问:如果牺牲速度换容量,32+32、128+32 还是 64+64 哪种组合最划算?核心观点是:容量决定能跑什么模型,速度只决定跑多快。

所属事件:Reddit 热议本地跑大模型的内存升级取舍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →