Rust/CUDA 推理引擎 reflex 支持 DeepSeek MLA，冷启动比 llama.cpp 快 1.3 倍

SaveAmerica2024 · reddit · 2026-09-24

开发者开源了 GGUF 原生的 Rust/CUDA 推理引擎 reflex（MIT 协议），设计目标与 llama.cpp/vLLM 不同：优化冷启动延迟（进程启动到首 token）而非稳态吞吐。

模型支持：完整实现 DeepSeek-V2/V3 的 Multi-head Latent Attention（已对照真实 DeepSeek-V2-Lite 权重验证），另支持 Qwen3 稠密、Qwen3-MoE 及 Qwen3.5 混合 Gated DeltaNet。
性能：所有 kernel 由 nvcc 构建期 AOT 编译，无 NVRTC 首次使用开销；A6000 上冷启动比 llama.cpp 快约 1.3-1.4 倍（权重一次上传、GPU 上反量化）；vLLM 冷启动慢 24-52 倍（作者注明该对比不完全公平）。
特色 System1 模式：单次前向对多个候选续写打分输出概率（如候选词打分 Paris: 0.997），适合 agent 决策循环中从已知选项中挑选。
定位为嵌入式/一次性执行（C-FFI + Python 绑定），batchsize 恒为 1，无服务模式，仅 GPU。

「编程与Agent」频道最新