单卡 5090 跑 DeepSeek 256k 上下文:Rust 推理引擎 QuixiInfer 达 25-30 tok/s
hotschmoe · x · 2026-11-20
开发者 QuixiAI 发布 QuixiInfer——一个从零用 Rust 编写、高度优化的推理引擎,可在单张 GPU 上运行 DeepSeek-v4.1-Flash-1017 并支持 256k 上下文。
关键数据与设计:
- 在 RTX 5090 上达到约 25-30 tok/s,可支撑最多 3 个并发请求;
- 采用动态 CPU 和 NVMe 卸载(offloading)把放不进显存的权重转到内存与固态硬盘;
- 设计思路受 DeepInfer 和 Strata 启发;
- 作者正在寻求 3090、4090 等其他 GPU 的测试贡献,另有针对 B70 的优化内核项目 QuixiCore-xpu。