单卡 RTX 3090 本地跑 DeepSeek V4.1,量化后达 20 tokens/s

GodComplecs · reddit · 2026-11-06

Reddit 用户 GodComplecs 分享用单张 RTX 3090 通过 Xolotl 运行高度量化的 DeepSeek V4.1 的体验:在高量化设置下按官方参数配置,输出速度约 20 tokens/s,配合 80GB DDR4 内存与 NVMe。作者对比在 DeepSeek 官网的提问,认为回答质量在同类问题上表现相当,智能水平没有明显崩坏。相比上一代 V4 Flash 约 8 tokens/s 且模型更小,这个速度提升相当可观,对本地部署玩家是有参考价值的实测数据点。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →