SonicBoom v0.0.3 发布：编译器优先推理运行时解码超 llama.cpp 1.18 倍
nalaginrut · reddit · 2026-10-19
老牌自由软件社区 HardenedLinux 开源了 GPLv3 协议的推理运行时 SonicBoom，走编译器优先路线，构建和运行时完全不用 Python——单个共享库、C ABI、以 Guile Scheme 为一等语言。在桌面级 RTX 3050 8GB 上与 llama.cpp -ngl 99 同条件对比：Gemma 4 E4B Q3KM 解码快 1.18 倍，Qwen2.5-0.5B Q4KM 快 1.12 倍；真实多轮 agent 负载下首 token 时间自 v0.0.2 起降低数倍（前缀复用 + 计划缓存），输出与基准运行逐位一致。技术上所有图优化和内核生成都在自研 MLIR 方言 Boom IR 上完成，每个优化都有开关和消融数据。团队也坦诚短板：Qwen 深度 512 解码仅 0.98 倍，且只有一张 GPU，因此发起社区基准征集——任何 NVIDIA GPU 用户一条命令即可跑出报告，贡献者将署名于 README。
「Infra」频道最新
- Sipeed 推 MaixStation 挑战 DGX Spark：128GB 内存 40W，价格差三倍 — AIFlow_ML · 2026-10-19
- ReaDy 用混合线性注意力循环状态做投机草稿，提升生成速度与接受率 — Bohan Sun · 2026-10-19
- TRELLIS.2 图生 3D 在 AMD RX 9060 XT 上跑通:修复、工作流与 MIT 替代组件 — ova-mojica · 2026-10-19
- CI 迎战 AI Agent 时代：Celesto 宣称每分钟成本比 GitHub Runner 低 96% — aniketmaurya · 2026-10-19
- 华为发布 Atlas 960E 超节点：NPO 光互联连接 4096 颗 NPU — bookwormengr · 2026-10-19
- 机器人「大脑」推理成本三个月暴跌 84%，硬件成唯一大头 — victor_explore · 2026-10-19