跑本地大模型该加多少显存内存?Reddit 热议容量与速度取舍
MiceLiceandVice · reddit · 2026-09-03
一位本地推理爱好者在 Reddit 发起讨论:怎样的硬件升级才真正「有意义」。他的现状是 32GB DDR5 内存 + 16GB GDDR7 显存的主机,认为从 32+16 升到 64+16 并不划算,而显存/内存容量对齐(如 32+32)更有效。
他计划再攒一台 DDR4 + HBM2 推理机作为补充:虽然速度更慢,但更便宜的硬件能带来更大的总容量,从而跑更多样的大模型。他向社区提问:如果牺牲速度换容量,32+32、128+32 还是 64+64 哪种组合最划算?核心观点是:容量决定能跑什么模型,速度只决定跑多快。
所属事件:Reddit 热议本地跑大模型的内存升级取舍(2 条相关)→
「Infra」频道最新
- 光刻机神话?博主称蔡司镜片镀膜 expertise 仅约30年深 — teortaxesTex · 2026-09-03
- Tenstorrent 联手日本机构推 JapanFold,免费提供开源制药模型推理 — DavidBennett__ · 2026-09-03
- 联发科或拿下谷歌百万颗 TPU 训练芯片订单,博通只保推理 — firstadopter · 2026-09-03
- 语音输入提效实测:Mac Parakeet + Whisper 本地转写体验 — LeatherRub7248 · 2026-09-03
- Zeiss 称中国距 EUV 光刻机尚差 15 年,网友质疑单一供应商口径 — basedjensen · 2026-09-03
- FastVideo-FastH3 上架 MLX 页面,Mac 本地推理提速工具未发先热 — Structure-These · 2026-09-03