单张 RTX 3090 改 48GB 跑 27B Qwen 模型引围观
MaziyarPanahi · x · 2026-08-20
QuixiAI 展示了一套本地推理配置：魔改 48GB 内存的 RTX 3090，运行自家推理引擎 SlimServe 跑 UnslothAI 的 Dynamic Qwen 27B Q3KXL 量化 GGUF 模型（TurboQuant + DFlash 2）。MaziyarPanahi 随即追问该配置的实际 tokens/s 吞吐，侧面反映单卡大内存跑中等规模模型仍是本地部署圈的热门玩法。
所属事件:魔改 48GB RTX 3090 本地跑大模型引热议(4 条相关)→
「Infra」频道最新
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16