开源推理引擎 TokenSpeed 走红:为何调度层坚持用 C++

zhyncs42 · x · 2026-10-26

LightSeek 团队开源的 LLM 推理引擎 TokenSpeed 在 GitHub 已获 2.8k stars，MIT 协议。作者 zhyncs42 解释了项目为何在不同层使用不同编程语言：调度器用 C++ 的最初动机不是性能，而是正确性——调度器围绕 KV cache 状态转移构建，需在 PD、L2 cache 等组件间保证兼容，并确保状态转移可无损回滚，C++ 的 RAII 机制为此提供了保障。

仓库包含 tokenspeed-engine、kernel（含 AMD/NPU 版本）、MLA、scheduler 等模块，支持 DeepSeek、GLM、Qwen、Kimi、MiniMax 等多款模型，瞄准 Blackwell（B200/B300/GB200/GB300）等硬件的极致推理速度。