单张 RTX 3090 改 48GB 跑 27B Qwen 模型引围观
MaziyarPanahi · x · 2026-08-20
QuixiAI 展示了一套本地推理配置：魔改 48GB 内存的 RTX 3090，运行自家推理引擎 SlimServe 跑 UnslothAI 的 Dynamic Qwen 27B Q3KXL 量化 GGUF 模型（TurboQuant + DFlash 2）。MaziyarPanahi 随即追问该配置的实际 tokens/s 吞吐，侧面反映单卡大内存跑中等规模模型仍是本地部署圈的热门玩法。
所属事件:魔改 48GB RTX 3090 本地跑大模型引热议(4 条相关)→
「Infra」频道最新
- 全美数据中心最多县，家庭收入中位数也最高 — kevinnbass · 2026-08-20
- Rust 编译器作者发愿：让 rustc 速度提升十倍 — mitsuhiko · 2026-08-20
- 新论文揭示 Embedder 困境：LLM 效果更好但成本高千倍 — Muennighoff · 2026-08-20
- AI 赔本赚吆喝多年，为何至今不提价？ — MacIntoic · 2026-08-20
- Rust 编写的高性能无头浏览器 Obscura 发布 — tom_doerr · 2026-08-20
- Unsloth AI 拟推新内核，C8 预测达 300 tok/s — QuixiAI · 2026-08-20