RTX 3060 跑 DeepSeek V4.1 Flash Q8:Prefill 从 3 tok/s 提速到 62
zyxciss · reddit · 2026-11-08
开发者发布 Betelgeuse 推理引擎(bel-cli/bel-server),在 RTX 3060 12GB + 16GB 单通道内存 + NVMe 的入门游戏 PC 上,以 Q8XL 高精度(305.6GB 专家骨干 + 110.6GB Engram 表)跑通 DeepSeek V4.1 Flash,解码 19 tok/s、prefill 62 tok/s。
核心问题与解法
- 离核 MoE 最大的痛点是 TTFT:大 prompt 激活全部 40 层的几乎所有专家,常规实现 prefill 只有 1-6 tok/s。
- 三项改动:①位置无关缓存分区,每层 20 个常驻槽位(5 VRAM 热 + 15 主存);②单遍层优先 prefill,用 16-token ubatch 替代 3-token 微批,专家经 PCIe 与计算并行流水;③首遍结束后把最活跃的 top-5 专家物理换入 VRAM。
- 110GB Engram 表只存 SSD,每 token 仅触 48 行(192KB),预载入 2MB VRAM 缓冲,几乎不占内存。
结果:Warm PP 从 3-6 提到 61.80 tok/s,解码峰值 27.92 tok/s,agent 工作负载 24.22 tok/s,内存峰值 10.61GB;对比 Strata(同卡 64GB 内存)解码更快且 SSD 冷读为 0。换双通道内存 PP 可再翻倍。
「Infra」频道最新
- 物理学家放话：太空算力有 2 万亿美元级散热难题 — JOBhakdi · 2026-11-08
- 液冷渗透率四年增十倍，2027 年将覆盖 59% AI 芯片 — Beth_Kindig · 2026-11-08
- 农业日用水是数据中心的 2500 倍，一幅图表回应用水焦虑 — davidpattersonx · 2026-11-08
- 软银债务违约保险成本升至4.66%，SB Energy五百亿IPO推迟 — ccerrato147 · 2026-11-08
- 巨头建 AI 数据中心不再靠现金：债务占比从 9% 飙至 32% — ccerrato147 · 2026-11-08
- 多卡水冷入门指南：先定散热排，再选泵箱和接头品牌 — net_termina · 2026-11-08