有人问 373GB 模型能否靠 5070 Ti 16GB 显存跑起来
Possible_Grocery8079 · reddit · 2026-07-29
373GB 模型能不能靠 5070 Ti 16GB 在家跑
一位 Reddit 用户看到有人在 MacBook M1 Max 之类的机器上运行超大模型后，开始琢磨自己这台消费级主机能否跑一个更大的模型，比如 GLM 5.2 UD-IQ4NL。
机器配置
- 64GB 双通道 5200 MT/s 内存
- i9-14900K
- RTX 5070 Ti，显存 16GB
- Samsung 990 Pro SSD
- 后端：llama server
他想用 磁盘 offload 的方式做一个“家用前沿模型”方案，因为自己所在地区网络偶尔会中断。
这个问题的实质
帖子核心是在问：一个体积高达 373GB 的模型，在需要大部分权重从 SSD 流式读取、而不是常驻 GPU 显存的情况下，是否真的能在消费级机器上可用。
「Infra」频道最新
- LiveKit 称 Gemma 4 31B 语音首 token 仅 192 毫秒 — GlennCameronjr · 2026-07-30
- Project Orion 称 Orion-16B 在超半数节点掉线后仍继续训练 — bittingthembits · 2026-07-30
- Qwen Image 2512 优化版：体积缩小5倍，推理提速3倍 — enrique-byteshape · 2026-07-30
- Reddit 用户在双 5090 家庭主机上跑出 Kimi K3 约 4 t/s — iVoider · 2026-07-30
- AI算力概念股遇冷：CRWV创52周新低，英伟达三月跌近9% — GaryMarcus · 2026-07-30
- 双 RTX 3090 仍难同时装下 Qwen 图像编辑和 27B 文本模型 — Civil_Fee_7862 · 2026-07-30