RTX 3060+16GB 内存跑 4-bit MoE 达 24 tok/s，Betelgeuse 公开基准数据
zyxciss · reddit · 2026-11-01
Betelgeuse（bel-cli/bel-server）作者回应上一帖的两点质疑——2-bit 量化太低、单条内存测试不典型——用升级后的 victim-cache + DMA 路径重新测试了 IQ4XS（约 100GB 级、完整 4-bit 专家），硬件仍是 RTX 3060 12GB + 16GB 系统内存。
关键结果：
- IQ4XS + 2x8GB 双通道：24.0 tok/s（原生 llama.cpp 仅 0.6 tok/s，Strata --low-ram 约 5-6）
- IQ4XS + 1x16GB 单通道：14.0 tok/s
- Q8KXL：8.0 冷启动 / 12.0 热启动 tok/s（原生直接 OOM）
- 所有配置输出与原生 100% 字节一致，0 掉专家
双通道翻倍的原理：Betelgeuse 用独占主机内存 victim cache + 异步硬件 DMA（MOEDMA=1）在 VRAM 槽池与 NVMe 之间搬运专家；单通道 DDR4 约 17-19 GB/s 带宽被 CPU 与 PCIe DMA 争抢，双通道带宽翻倍后 DMA 全速拉取 victim-cache 命中，直接从 14 提到 24 tok/s。
已开源 GitHub 引擎、HuggingFace 预打包 bundle，并提交 llama.cpp 上游 PR；下一步把同架构迁移到 DeepSeek V4.1 Flash，同档硬件早期测试约 25 tok/s。
所属事件:Betelgeuse 让低端显卡跑超大 MoE 模型并公开基准(2 条相关)→
「Infra」频道最新
- ET-SoC-1 芯片交互式可视化:FMA 指令放大后长这样 — yaroslavvb · 2026-11-01
- 马斯克：Colossus 2 年底将部署约 120 万块 Blackwell GPU — scaling01 · 2026-11-01
- 六张 RTX 3090 加 256GB 内存，玩梗宣示本地模型 independence — gklambauer · 2026-11-01
- Tokenomos 开源：重写 vLLM 前端，小模型推理提速近 3 倍 — bdsqlsz · 2026-11-01
- DeepSeek 披露 Agent 持久在线方案：主系统外设 Watchdog 看门狗会话 — teortaxesTex · 2026-11-01
- 自研推理引擎 YASAKANI 实测全胜 SGLang/vLLM,最快快 2.86 倍 — udmrzn · 2026-11-01