双 RTX 3090 本地跑大模型，怎么选模型和推理栈

ruffus_or · reddit · 2026-07-25

楼主的机器是双 RTX 3090、总计 48GB 显存，主要已经用于 ComfyUI 和远程 GPU 服务，但在本地 LLM 选型上还没定下来。帖子集中在几个实操问题：该选什么模型家族、什么参数规模更现实、GGUF/AWQ/GPTQ/FP8 怎么取舍，以及 vLLM、Ollama、llama.cpp 哪个更适合这种配置；同时还在征集编程场景下的 IDE 接入与工具组合经验，如 Continue、Cline、Roo Code、Aider、Open WebUI 等。