开源推理引擎 Basalt 0.2.0：单张 5090 上跑出 300 t/s 且质量超 llama.cpp Q8
jesdga95 · reddit · 2026-11-04
作者发布仅面向 Blackwell 显卡的开源推理引擎 Basalt 0.2.0（针对 Qwen 3.8 Flash Next），在 5090+5060 Ti 16GB + 128GB 内存的配置上实现：散文约 300 t/s、结构化输出约 600 t/s、64K 上下文预填充超 10000 t/s，支持 262K 上下文与 4 并行槽。质量方面以 BF16 全精度为基准对比：- llama.cpp Q8：KLD 0.0325，top-1 一致率 93.98%- Basalt Q8：KLD 0.0200，一致率 95.34%，甚至高于 llama.cpp 基线- 新增 NVFP4-DQ8 量化：KLD 0.0561，一致率 92.25%，比默认 DQ6K 质量更好、速度仅慢约 7%- 所有有损「hack」默认关闭，开启时有警告。速度提升来自更快的 draft 步骤、输出头和启动时专家 placement 优化；.basalt 格式升级到 v2，旧文件可用迁移工具。项目已获 500 GitHub stars。
「Infra」频道最新
- AMD 财报：Epyc Venice 需求为历代最强，本季上架 OEM 系统 — firstadopter · 2026-11-04
- 美智库专家：英伟达夸大中国AI芯片能力，在华盛顿信誉受损 — mchorowitz · 2026-11-04
- Baseten 工程师:推理不是全部,agent 还需要网关、沙箱与后训练三件套 — AccBalanced · 2026-11-04
- 小批量才是王道:重复数据预训练论文揭示 batch size 隐形最优解 — sewon__min · 2026-11-04
- Marvell 收购 Lumentum 剑指 AI 光互连，预计 2028 上半年完成交割 — BenBajarin · 2026-11-04
- Turing Post 深度指南:DeepSeek 开放全栈,从推理引擎到 Agent 工具能用到什么程度 — TheTuringPost · 2026-11-04