Lucebox 自研推理引擎：Qwen 3.8 27B 解码达 95.4 tok/s，超 llama.cpp 约 47%

QuixiAI · x · 2026-11-13

Lucebox 团队为自家推理机（RTX 495 + R9700）专门打造了自研推理引擎，随每台设备出货，承诺新模型 day-0 支持与每周优化。实测数据（decode，单用户）：Qwen 3.8 27B 达 95.4 tok/s，对比 llama.cpp 的 64.8；Qwen 3.8 Flash-Next 达 81.5 tok/s，对比 Strata 的 53.9。prefill 侧 120K prompt 下 Lucebox 对 Qwen 3.8 Flash-Next 达 1,621 tok/s，也高于 Strata 的 1,362 和 llama.cpp 的 284。作者观点：针对单一机型做硬件-软件协同设计，胜过为所有可能机器做通用优化，「软硬协同就是全部」。