Paddock 开源：自研 CUDA kernel 的推理引擎，13 项对比全胜 vLLM
saltexx · reddit · 2026-09-04
Truespar 团队按 8 月承诺，将内部推理引擎 Paddock 以 MIT/Apache-2.0 双协议开源（仓库即内部仓库，含全部 kernel）。
- 技术栈：Rust + C++，自研 CUDA kernel，单一二进制，提供 OpenAI/Anthropic 风格 API，支持加载 GGUF 和 safetensors；生产环境年处理约 3000 亿 token
- 实测（Qwen3.8-27B FP8，单卡 RTX PRO 6000，关闭 spec decoding）：13 项全部快于 vLLM（1.02x–1.19x），10/13 项快于 SGLang，全部大幅快于 llama.cpp（1.5x–37x）；32 并发 1024 入/1024 出达 1062 tok/s（vLLM 958、SGLang 844）
- 限制：仅 CUDA、仅 Windows/Linux；已在 Blackwell（5090/RTX PRO 4500–6000/B200）和 Ampere 验证，Ada kernel 未实测需强制环境变量才启动，无 Mac/ROCm/Vulkan，单卡单模型、不支持张量并行
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21