魔改 48GB RTX 3090 本地跑大模型引热议

开发者 QuixiAI 展示了一套本地推理配置：将 RTX 3090 魔改为 48GB 显存，运行自研推理引擎 SlimServe，加载 UnslothAI Dynamic 3.0 版量化 Qwen 27B 模型（有帖子提及 Qwen2.5-72B），并以之作给孩子装配的第一台电脑，引发社区围观。此外其还计划为 Unsloth AI 构建优化内核，预计 C1 算力下达 60 tok/s、C8 算力下达 300 tok/s，目前仍在调参。

2026-08-20 ~ 2026-08-20 · 4 条相关

• 晒出给孩子的电脑：3090 加本地大模型 — QuixiAI · 2026-08-20
• RTX 3090 组装 48GB 显存电脑，本地运行 Qwen3.8 27B 模型 — MaziyarPanahi · 2026-08-20
• 单张 RTX 3090 改 48GB 跑 27B Qwen 模型引围观 — MaziyarPanahi · 2026-08-20
• Unsloth AI 拟推新内核，C8 预测达 300 tok/s — QuixiAI · 2026-08-20