双 RTX 3090 跑 DeepSeek V4.1 Flash 2.61bit:26 tokens/s
whiteh4cker · reddit · 2026-10-19
网友用 lxe 的 dsx 引擎(Rust + CUDA,专为 3090 上的 2-bit 量化 MoE 设计)自制了 DeepSeek-V4.1-Flash 的 2.6127 bpw 量化版,在 2×RTX 3090 + 192GB DDR5 上实测:
- 质量:相比作者 2.03 bpw 版,KL 散度从 0.462 降到 0.1972,Top-1 保持率 82.59%,PPL 9.36,明显优于更低比特版本
- 速度:262K 上下文 + 203GB Engram 表(放 SATA SSD)下,生成 26 t/s,预填充 170 t/s
- 痛点:187.6GB 权重从 HDD 加载要 90-110 分钟;dsx 暂不支持图像输入
- 硬件:2×RTX 3090、Intel Ultra 7 270k、192GB DDR5-5600
对想在消费级双卡上本地跑大 MoE 做编程/agent 任务的人,这份量化质量与吞吐数据很有参考价值。
「Infra」频道最新
- d-Matrix CEO 谈 3D 堆叠内存计算:破解 AI 推理内存墙的新路线 — firstadopter · 2026-10-19
- 开发者开源 rubick：单个 LLM 同时充当对话、嵌入与决策多端点网关 — wFXx · 2026-10-19
- 9070 XT 混搭 RTX 3080 跑 LLM 实测：30-50 tok/s 的教训与调优 — BrightCandle · 2026-10-19
- LLM 量化详解:位宽不等于精度,4-bit 也不等于 4 倍提速 — techNmak · 2026-10-19
- 第三方整理 Nebius 客户图谱：303 家公司在用其 AI 云与推理服务 — pdamodaran · 2026-10-19
- vLLM 揭秘 MiniMax M3.1 Flash 服务栈:NVFP4 稀疏注意力最高提速 1.7 倍 — vllm_project · 2026-10-19