单卡 3090 + 32GB 内存如何榨干本地模型显存
Certain_Yam_5824 · reddit · 2026-09-12
楼主分享自己的本地部署配置：单张 3090（24GB 显存）+ 32GB DDR4，运行 Qwen3.8-27B 的 q80 量化版，128k 上下文。为腾出显存放上下文，他不得不剥离模型的 mmproj 多模态部分。想要更大的模型跑夜间任务，但苦于找不到考虑上下文开销后能塞进约 48GB 的多模态模型，目前在需要长上下文时以 256k 窗口重跑 Qwen3.8。帖内有具体的显存取舍经验，评论区在讨论 48GB 规模的模型选择。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28