开源引擎 RunNburn：64G 内存桌面跑 295B MoE 模型，速度超 llama.cpp
coderredlab · hn · 2026-07-30
RunNburn 是一款基于 Rust 的开源 GGUF 推理引擎，专为在消费级硬件上运行超出显存/内存容量的超大模型而设计。
核心机制：
- 权重完全基于文件映射（mmap），严格限制主机内存占用（--ram-budget），GPU 缓存根据实际可用显存动态分配。
- 无需格式转换或静默重量化，磁盘上的 GGUF 文件即唯一事实来源。
- 利用 ODIRECT 和 iouring 按需批量读取选定的专家参数。
实测性能：
- 在配备 64GB 内存和单张消费级 NVIDIA 显卡的桌面上，成功运行腾讯 Hy3 模型（总参数 295B / 激活 21B，Q2K 量化文件达 97.8 GiB）。
- 在文件体积远超内存与显存总和的情况下，预热后解码速度达到约 5.5 tok/s，相比之下 llama.cpp 仅约 2.0 tok/s。
适用边界：对于能完全放入显存的模型，经过多年优化的 llama.cpp 依然更快。RunNburn 专注于运行“装不下”的超大模型，且目前不支持连续批处理和多租户吞吐。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16