单卡 RTX 3090 本地跑 DeepSeek V4.1,量化后达 20 tokens/s
GodComplecs · reddit · 2026-11-06
Reddit 用户 GodComplecs 分享用单张 RTX 3090 通过 Xolotl 运行高度量化的 DeepSeek V4.1 的体验:在高量化设置下按官方参数配置,输出速度约 20 tokens/s,配合 80GB DDR4 内存与 NVMe。作者对比在 DeepSeek 官网的提问,认为回答质量在同类问题上表现相当,智能水平没有明显崩坏。相比上一代 V4 Flash 约 8 tokens/s 且模型更小,这个速度提升相当可观,对本地部署玩家是有参考价值的实测数据点。
「Infra」频道最新
- 能源与基建成本上涨,AI或更贵:专家吁建专用小模型 — DavidLinthicum · 2026-11-06
- Steam 数据:仅 2% PC 玩家持有 RTX 5080/5090 — ssh4net · 2026-11-06
- SOX 单日暴跌 12.2%,创 2020 年 3 月以来最差表现 — tengyanAI · 2026-11-06
- Replit 自建内核沙箱,审计 6211 个 CVE 躲掉 96% — amasad · 2026-11-06
- Eigen AI 创始人谈推理经济学:更便宜的 token 会扩大整个市场 — songhan_mit · 2026-11-06
- DFlash 2 并行草拟破解投机解码瓶颈:多接受 21% token 仅增 1.3% 延迟 — songhan_mit · 2026-11-06