开源推理引擎 TokenSpeed 获 2.8k Star：主打 Day 0 支持与投机解码
zhyncs42 · x · 2026-10-23
LightSeek 团队开源 LLM 推理引擎 TokenSpeed，主打"光速"推理，已获 2.8k Star。
要点：
- 过去数月与全球多个前沿开源模型团队合作，提供 Day 0 支持与推理优化
- 支持投机解码全链路：算法研究、用 TorchSpec 训练 draft 模型、TokenSpeed 高效 serving
- 支持多种硬件内核（AMD、NPU、Blackwell B200/B300 等）与 MLA、DeepSeek、GLM、Qwen、Kimi、MiniMax 等多种开源模型
- MIT 协议，团队主张高效推理的基础设施应当开源
「Infra」频道最新
- Meta 研究员：开源模型难追闭源，烂到根的基础设施是主因 — A_K_Nain · 2026-10-23
- Jane Street 用 NVIDIA cuTile 实现 Mamba-2 高性能前向核 — blelbach · 2026-10-23
- LatentLoop 论文：非对称算力分配让循环 MoE 省 19% 计算 — pmttyji · 2026-10-23
- 同一 AI 请求在德州碳排放是瑞典的 8.5 倍 — jlundberg · 2026-10-23
- SK海力士叫停Solidigm美国IPO,股价季度内暴跌约30% — rohanpaul_ai · 2026-10-23
- 设计师嘲讽英伟达：不买旧 GPU 就拿不到新卡，这不是泡沫？ — michalmalewicz · 2026-10-23