单张 32GB 卡跑 763B DeepSeek：50 tok/s 与 2-bit 量化的真实代价
Ryyn_- · reddit · 2026-11-11
作者在一块 RTX PRO 4500（32GB）+ 120GB RAM + Ryzen 9 9950X3D 的配置上，用 2-bit GGUF（ISTA DASLab GSQ-RCO IQ2XXS，磁盘 232GiB）跑 DeepSeek V4.1 Flash 1017（763B MoE）：专家权重放内存、最热的专家驻 GPU，再配 DSpark 草稿模型做投机解码。
关键数据：
- 解码 49.9 tok/s（带草稿模型，三 run 中位数），不带为 37.2，且草稿不改变输出
- 2-bit 量化相对原始权重的 KL 散度 0.248、top-1 一致率 83.5%——作者强调与原权重对比才是真实代价，拿两种 quant 互比会掩盖损失
- 开思考模式 + 16k 上下文时长思考很难收尾：8000 思考预算能让两个测试任务完成；64k 无预算时两任务各思考 6 万 token 仍不回答
- 超长思考会陷入近重复句子的软循环
- 瓶颈在内存带宽（DDR5-4800 四条），希望更快内存的数据
16/24GB 卡用户可参考：125B Qwen3.8-Flash-Next 同方案 16GB 卡 + 64GB RAM 约 15 tok/s，32GB 卡 91 tok/s。作者披露自研引擎 fork（FastLocalExperts，MIT）与启动器（flelink）。
「Infra」频道最新
- Cheaper Inference 推出拼单议价服务，前沿模型推理均价立省 40.5% — NandoDF · 2026-11-11
- LeRobot 0.7 发布：流式训练 10.7TB 数据集，等待数据仅占 0.52% — LysandreJik · 2026-11-11
- 玩家吐槽:GPU 产业靠游戏玩家起家,AI 热潮却让玩家买不起卡 — ark_forever · 2026-11-11
- CyberGate 开源:vLLM 上免改权重实现选择性拒绝转向 — DebtFluffy9219 · 2026-11-11
- 华为曾借白手套经台积电采购 AI 芯片，Sophgo 代理案回顾 — 0xkarasy · 2026-11-11
- 软银因数据中心减记 37 亿美元，单季净亏 1.12 万亿日元 — ns123abc · 2026-11-11