单张 RTX 3090 Ti 跑 552B DeepSeek 本地模型，35 tok/s 全流程教程
uniVocity · reddit · 2026-11-02
Reddit 用户详解在六年前的老硬件（Threadripper 3990X + 128GB DDR4 + 单张 RTX 3090 Ti 24GB）上本地跑大模型的完整方案：DeepSeek-V4.1-Flash-1017（552B MoE，约 39B 激活）以 XQ/GSQ 量化 + FP4 KV + NVMe Engram 表达到约 35 tok/s 解码；Qwen3.8-Flash-Next（125B MoE，约 3.5B 激活）达约 138 tok/s。核心技巧包括：
- gpu-unlock 内核模块：解除消费级 Ampere 卡（RTX 3000 系列）在企业卡上没有的 FP16/BF16 矩阵指令人为限速，给出编译安装、内核参数 gpuunlock.targets=all、modprobe 驱动选项与功耗墙拉满的完整命令
- Gentoo 下的依赖安装（GCC 14 + CUDA toolkit）
- 量化文件与 HuggingFace 下载源明细
作者称效果远好于几个月前的旧模型，愿意补充更多细节。
「Infra」频道最新
- FT 图表：四大科技巨头 CapEx 狂飙是理性押注而非无脑烧钱 — luisdans · 2026-11-02
- Liquid AI d1 决策模型实测:2B 小模型分类准确率碾压同级通用模型 — JosephJacks_ · 2026-11-02
- 智能降价99%用量暴增500倍,杰文斯悖论正在应验 — luisdans · 2026-11-02
- OpenAI 或将数据中心改名为「AI 算力园区」 — TechCrunch AI · 2026-11-02
- 路易斯安那 3000 亿美元项目挤压钢铁,工字钢交期长达 9 个月 — MatthewChang · 2026-11-02
- Reddit 实测：Speedy 推理引擎碾压 Avalon，读速快 1.6 倍 — MotorNetwork380 · 2026-11-02