RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE
zyxciss · reddit · 2026-10-31
Reddit 用户 zyxciss 发布 Betelgeuse（bel-cli/bel-server，llama.cpp 的 fork，并准备向上游提 PR），让 68GB 的 Qwen 3.8 Flash Next GSQ-RCO-IQ2XS 量化版在 RTX 3060 12GB + 16GB DDR4 的普通游戏 PC 上持续跑出 22 tok/s（峰值 48 tok/s），且 100% bit-exact。
背景与动机
- 作者坦承两个月前的旧方案靠 gate pruning（丢弃 router 权重低的冷专家）刷分，实际上悄悄损害了输出质量，已弃用。
- 原版 llama.cpp 在此硬件上 mmap 抖动严重（每 token 约 1500 次缺页），仅 1.47 tok/s；Strata 需要 48–64GB 内存才能跑 40+ tok/s，16GB 内存下降到 8.11 tok/s。
核心技术（不丢弃任何专家）
- 零 gate pruning，位级精确：48 层 × 每层 10 个路由专家全部全精度计算，对 28,080 条 router 记录和 576 个生成 token 与官方输出逐字节比对，diff 为 0。
- Arrival-Slack VRAM 槽位池：全部 dense 层 + GDN + QSA + LM head 驻留约 3.2GB 显存，其余显存放约 5000 个专家槽位，按各层计算空闲时间非均匀分配（前 0–4 层 240 槽，中层 92，尾部 60）。
- In-stream GPU Doorbell + 单段 CUDA Graph Replay：用自定义 CUDA kernel 在 GPU 上约 2µs 内解析专家命中/缺失，替代原来每 token 48 次图切分同步（约 360ms/token），整个 decode 合并为一次 CUDA Graph replay。
- RAM Victim Cache + iouring 分页：被逐出的专家进专用内存缓存，显存与内存完全不重复；NVMe 物理读取从约 71 MB/token 降到 12.43 MB/token。
- 去掉磁盘重复：专家权重从 GGUF 中剥离，改为 3.2GB Dense.gguf + 35.3GB experts.bin（4KB 对齐单读 blob）+ 26.8GB n-gram 预测分片。
作者是在严格 MemoryMax=12G 的 cgroup 内实测的（CachyOS/Arch），专门拔掉多余内存条模拟普通 16GB 用户环境。
「Infra」频道最新
- 网友在 RTX 3090 Ti 上实跑 MiniMax 3 视频生成,效果惊艳 — Impossible-Ad-3798 · 2026-10-31
- 15 岁开发者手写滑动窗口注意力,T4 上提速 4.2 倍省 21% 显存 — vankownlaw · 2026-10-31
- 曝微软向6万员工提供离职补偿，将人力支出转向数据中心 — Polymarket · 2026-10-31
- Baseten 拟融资 20 亿美元，估值翻倍至 300 亿 — rohanpaul_ai · 2026-10-31
- php2shell 漏洞一周后约 25 台 Palo Alto 防火墙遭 root 级攻陷 — cyb3rops · 2026-10-31
- 法国通过互联网流量税:每 GB 流量征收 0.055 欧元 — helloplanets · 2026-10-31