SonicBoom：无 Python 的 C++ 推理运行时，解码快 llama.cpp 14%
nalaginrut · reddit · 2026-10-13
开发者开源 SonicBoom（v0.0.1，GPL-3.0），一个纯 C++/CUDA、带 C ABI 的本地张量运行时，目标是在消费级 GPU 上跑 LLM。
性能数据（Gemma 4 E4B-it Q3KM，笔记本 RTX 3050 8GB，同一 GGUF）：
- 解码 51.65 tok/s vs llama.cpp 45.20 tok/s（+14%）
- 2048 深度解码 47.13 vs 45.21 tok/s
- Prefill 约 1051 tok/s，只有 llama.cpp（约 1944）的一半
- 4000 token 前缀 + 100 新 token 的 TTFT 仅 503 ms（精确前缀复用）
关键点：量化 matmul 内核直接移植自 ggml，与 llama.cpp 相同；14% 解码领先完全来自其上的图编译器层——激活量化一次后复用、norm 与激活融合、死代码消除、每个 decode 步骤捕获为单个 CUDA Graph 回放。源自 ggml 的代码只占核心约 8%。
当前局限：prefill 较慢；仅验证 Gemma 4 E4B 一个模型，量化格式仅 Q3K/Q4K/Q5K（多数 HF 上的 Q4KM 文件暂不能加载）；仅测试 sm86；只支持贪心采样。后续路线包括 MLIR GPU codegen、投机解码与 Qwen 支持。
「Infra」频道最新
- 实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒 — Natural-Chemical1513 · 2026-10-13
- 预测：Opus 5.5 将能在 24GB 单卡上本地运行 — TheZachMueller · 2026-10-13
- 纯 C 推理引擎 Colibri 开源:消费级硬件跑 2.8T 参数 MoE 模型 — tom_doerr · 2026-10-13
- AI agent 该跑在哪:云还是本地是个错误问题,应按组件拆分 — DavidLinthicum · 2026-10-13
- RTX 5090 传停产,ComfyUI 用户寻找替代 GPU — Impressive-Scene-562 · 2026-10-13
- 在荒野湿地自建对等网络跑到 350Mbps,还让 Agent 顺手做了官网 — vincent_koc · 2026-10-13